为什么是 AIX
三段话说清这把尺为什么存在、为什么这样造、不测什么。每段注明出自研究院哪份文件。
一、认知中介的第三次更替
人认识世界的中介换过三次:从直接经验与口碑,到印刷与广播时代的媒体,到搜索引擎时代的索引与链接。每一次中介层更替,都重画了影响力的版图,也催生了度量它的新标尺。现在第四层中介正在成形:人们越来越多地不再自行在多个来源间导航、判断,而是向生成式人工智能提问,直接消费一个已被判断过的答案。
这一层有三个性质,使影响力在此可被指数化。有限:一次应答只容纳少数实体,位置是稀缺的。倾斜:实体在应答中的存在高度不均。可争夺:分布不均且与商业利益相关,就会被争取。一个稀缺、倾斜、可争夺的分布,就是一个可以被指数化的对象。
出处:《AIX · AI 影响力指数白皮书》综合稿,序与第一部。
二、公开测度必被博弈,所以尺要为博弈而设计
一个公开发布、与商业利益挂钩的分数,一旦被引用就会被优化。这是古德哈特定律的必然:当测度成为目标,它就不再是好测度。AIX 处在这条定律的急性暴露区,所以它的第一性原理不是「准」,而是在被博弈的条件下守住测度的构念效度。目标不是免疫——那不存在——而是把博弈在任一时刻都顶成最贵的,并让博弈留下可被测到的痕迹。
编制规则的每一条都是对这一约束的回应:题面不含品牌名称与品牌独有线索,无法定向投喂;成分与题集在采样前冻结;份额在品类内归一,对模型整体漂移部分免疫;报告置信区间与名次分布,头部在统计上分不出先后时报领先簇而不排硬第一,不提供博弈靶;分平台计算与呈报,不混算;题集、成分名单与汇总数据全部公开,第三方可复算,博弈留痕;更正公开,换测法标断点。
出处:白皮书综合稿第三部;研究笔记《抗操纵内核》;《指数编制通则》(制定中)。
三、边界写在明处
一把诚实的尺,价值正在于说清自己不能做什么。仪器非平稳:大模型迭代的频率高于指数报告的频率,纵向序列的稳定性是测量学上的开放问题。跨品类严格可比性是开放问题:指数没有像货币那样的天然共同单位,只在品类内比较。金融因子不作主张:把点名水平当作经营指标的领先因子,在回测证明前只是研究方向。方法学是第一版:规则会修订,修订只增不覆,跨版本不直接比较。
措辞纪律与之配套:不把尚未发生的事写成既成事实。引用尚未发生,覆盖尚在扩展,这些是要去建立的,不是已经拥有的。
出处:白皮书综合稿 2.3 与第六部。
四、这把尺测什么、不测什么
测的是:在品类选购语境下,各品牌被生成式人工智能点名的比例,以及在品类内所占的份额。选购语境下的提及,是推荐层的无判分代理——不依赖模型评分,任何人按公布的题集与别名表可以复现同一判定。
不测的是:产品优劣、市场份额、消费者满意度。指数表征的是生成式人工智能在特定时点的品牌认知分布,不构成购买建议或投资建议。