4 · 测量理论与构念效度

4.1 · 测量理论立场

“对社会的影响力”不是一种可以用仪器从世界上直接读出的属性，就像长度用尺子读出那样。它是一个理论构念：一种被推断的属性，其真实性由它所解释的可观察量之模式来证明 (Cronbach and Meehl, 1955; Messick, 1995)。本节认真对待构念效度传统，因为一个忽视它的影响力指数要么是 (a) 一堆未经审视的任意权重的捆绑，要么是 (b) 一种声称其数字就是'终极'真理的过度表达。系统的回答是：这个数字是对一个构念的测量，构念被显式定义，操作化由定义推出而非出于便利；关于操作化是否忠实于构念的证据，则被组织为一项带验收标准的研究纲领（第 8.6 节）。 这一立场对测量带来三点推论。第一，效度是推论的性质，而非数字本身的性质 (Messick, 1995)：同一个标量可以是对一个构念的有效度量、对另一个构念的无效度量。因此本文总是问“对什么推论有效？”——而首要推论是在既定参考集内对智原社会影响力的截面比较。第二，效度是随时间积累的证据问题，而非一次性声明。第 8.6 节的验收标准因此被表述为一个带显式证据门槛的持续运行的程序。第三，构念是多维的，所以测量系统是一个合成值；合成值构造有自己的方法论与失效模式 (Nardo et al., 2005; Saisana et al., 2005)，第 8.7 节把它当作定量研究设计。

4.2 · 构念效度

Cronbach 与 Meehl (Cronbach and Meehl, 1955) 为“不存在可据以验证测验的单一标准”的情形引入了构念效度：人们通过检验一个关于可观察量的理论预测网络来验证一个构念。 Campbell 与 Fiske (Campbell and Fiske, 1959) 增加了多特质–多方法矩阵的操作纪律：一个度量应当与同一特质的其他度量收敛（聚合效度），并与以同一方法取得的不同特质的度量分化（区分效度）。Messick (Messick, 1995) 扩展了这一概念，纳入测量的后果与价值：一个有效度量是其分数含义与用途可辩护的度量，这迫使分数的价值假设公开，而非隐藏。 系统把这三层映射到自己的对象如下。 通则网络。“AI 智原的社会影响力”这一构念进入一个预测网络：它应当 (i) 与能力正相关但不完全相关（必要而非充分，第 1.2 节）； (ii) 追踪使用与采纳的可观察后果（生态存量、商业可达性、讨论量）；(iii) 在短时间尺度上相对稳定（锚），同时在较长时间尺度上有所响应（结算日历）；以及 (iv) 能以第 5.1 节四条渠道的方式分解，从而解释截面模式。每个预测都是关于可观察量相关结构的一个可检验主张，第 8.6 节的验收标准就是这些检验。 多特质–多方法纪律。系统通过多个方法论上不同的来源（第 6.5 节）操作化每条渠道：能力通过几个独立基准，生态通过仓库、引文与下载来源，商业通过价格与采纳来源。这是合成值指标对多方法矩阵的类比：分数在 “对同一条渠道、方法论上不同的度量相互一致（收敛）”的程度上可信，而“对不同渠道的度量不会彼此塌缩”（可区分性）。把旗舰对其自身渠道分数做回归无法确立这一点——渠道按构造就是构成的输入——所以聚合与区分证据必须来自外部的非输入度量：例如独立调查、下游采纳统计或事件。第 8.6 节的研究纲领正是为此围绕外部证据设计。 后果效度。系统不声称价值中立；它声称价值透明。第 5.2 节把每个权重暴露为关于影响力是什么的承诺，第 8.9 节陈述分数含义的边界。后果问题——一个实时的公开影响力数字对它所测量的领域做什么——同时被当作一个开放的经验问题和一个设计约束：实时信号的居中与守恒定律（第 5.6 节）是限制分数制造自身叙事能力的后果效度机制（第 7.5 节）。

命题 4.1 (影响力定义的构念–指标一致性).

设“社会影响力”这一构念定义为四渠道合成值 $\langle\text{使用},\text{讨论},\text{迭代},\text{扩散}\rangle$ （第 5.1 节）。则 FA 构成（第 6.5 节）的每个块与 RI 信号（第 6.6 节）的每个轨道都被指派到恰好一条渠道，并且每条渠道至少有一个块或轨道被指派给它。

证明. 由表 3 与 4 的构造即得。能力块与边缘块实现对使用的必要但不充分的能力输入；生态块实现迭代与使用的存量一侧；商业块实现使用的可及性一侧与扩散；RI 信号实现讨论；绝对热度线独立于极性实现讨论的量级。

∎

该命题是本文对“权重从哪里来？”这个问题的形式回答。构成的结构来自定义（内容效度，第 4.4 节）；数值权重是 V1 生产值，由专家组与工程调优校准并在发布时冻结（附录 B），统一的校准实验被列为未来工作（第 12.2 节）。结构是关于意义的断言；权重是经验校准。把两者混为一谈是经典的合成值指标错误 (Leamer, 1983; Nardo et al., 2005)。

4.3 · 构念：对社会的影响力

在操作化之前，构念本身需要边界。“对社会的影响力”以三种方式被限定，以防止度量悄悄变成别的意思。 限定于被测的渠道。按本系统的测量口径，影响力是使用、讨论、迭代与扩散在可核实的公开来源中可观察的意义上的合成值。这按声明排除了：通过私下游说的影响力、通过监管俘获的影响力、以及通过不留下公开痕迹的封闭客户关系的影响力。这些是系统不声称测量的真实影响力渠道；它们是边界，且被明确声明为边界。 限定于社会而非经济影响。系统测量一个社会科学构念，而非金融构念。商业块被纳入是因为可及性（人们能否触达并负担得起这项技术？）是社会扩散的一条渠道，而不是因为系统对公司定价。免责声明（第 13.6 节）不是套话；它正是构念定义之边界的具体落地。 限定于当前时期的可观察后果。系统测量已经发生并留下痕迹的影响力，而非预测的影响力。前瞻性影响力（一个尚未扩散的模型的潜力）不被测量；指数反映已经发生的事情（第 1.6 节）。

4.4 · 内容效度

内容效度问的是操作化是否覆盖构念，而非覆盖它的一个便利子集。论证有两部分。 从定义到块的映射是穷尽的。命题 4.1 与表 3 表明定义的每条渠道都被表示。其逆命题——没有一个块表示定义之外的渠道——由第 5.2 节的'构成-愿景对应'评审加以保证：每个块都有一个既定的渠道，一个没有渠道的块是设计错误。历史上一个有争议的情形——锚内的媒体/关注维度——在 V1 中被移除，因为其语义与实时信号所承载的讨论渠道重叠；移除它本身就是一次内容效度决策（同一度量不得在两条渠道中被重复计入）。 渠道内覆盖是合理的。能力由跨越通识、编码与群体偏好的七个独立基准度量（附录 B）；生态由仓库、下载、引文与经裁决账本来源度量；商业由价值、价格、免费可及与采纳动量度量。覆盖刻意比任何单一来源所能给出的更宽，第 8.7 节量化合成值对单个因子的敏感度。内容效度不要求完美覆盖；它要求覆盖是构念域的一个可辩护样本，并且覆盖缺口被披露（第 11.3 节）。

4.5 · 聚合与区分效度

Campbell 与 Fiske (Campbell and Fiske, 1959) 的多特质–多方法逻辑转化为一组外部观察者可以核验的预测：

1. 聚合：方法改变，渠道相同。同一条渠道的两种不同测量方法（例如能力块内的两个独立编码基准）在截面排序上的一致性，应当强于两条不同渠道的两种方法。
2. 聚合：渠道到外部后果。渠道分数应当与非输入的外部后果相关——例如独立的采纳统计或第三方使用调查。
3. 区分：能力对生态。能力与生态渠道分数在名单上应当不近似完全相关；若是，则构成是一个伪装成单一因子的东西，权重将毫无意义。第一个快照已经显示区分结构（第 11.2 节）：能力与生态排名明显分化。
4. 区分：锚对实时。FA 锚与 RI 信号应当在不同时间尺度上变动；锚在结算窗口内应当相对稳定，而实时信号变动。这一预测被操作化为第 8.6 节的时间尺度分离检验。

表 2 汇总了计划中的外部证据来源。该表的显著特征是：没有任何证据由系统自己产生：聚合证据来自构成不消费的来源，区分证据来自构成无法强加的模式。

表 2. 构念效度证据计划：分数聚合与区分结构的外部（非输入）证据。“外部”意味着该证据不是 FA 或 RI 的输入。

4.6 · 效标与已知群体效度

凡存在效标之处，构念效度由效标效度补充：分数应当以预测的方式与效标关联。两种效标设计可行并已列入计划。 已知群体设计。系统应当以与“社会足迹”的独立可辩护排序相匹配的方式对智原排序。一个自然的效标群体是具有大型已核实用户群与生态足迹的智原集合；分数应当无需被告知就把它们放在顶层。这是弱证据，但它是证据：一个把毫无证据的组织排在证据确凿且无处不在的组织之上的分数，无论其内部代数如何都会被证伪。 事件后果设计。一个已核实的破坏性事件（一个被广泛采纳的发布、一次实质性事故）应当以预测的方向与量级推动相关子分量：发布时推动能力与生态存量，实时信号即时随之变动，锚则仅经由结算调整（$D$、$R$）变动。事件记录提供效标。因为写作时运行历史内尚无已观察到的符合资格的破坏性事件，该设计是计划中而非已有证据。

4.7 · 对效度的威胁与设计回应

标准的效度威胁都有名字，系统对每个都有回应；回应正是区分可辩护测量与乐观测量的分水岭。 构念代表性不足。操作化可能只捕捉到构念的一部分。回应：四渠道定义是被声明的覆盖边界，对可核实公开来源的限定被陈述（第 4.3 节）；代表性不足被披露而非隐藏。 与构念无关的方差。分数可能被不是构念的东西推动：基准污染 (Balloccu et al., 2024)、评估者偏差 (Zheng and others, 2023)、归属噪声或来源特定的伪影。回应：多来源、多方法设计（第 6.5 节与第 6.2 节）、缺失值分类（第 6.4 节）与审计不等式（第 6.9 节）是操作回应；每个都限制了单个伪影能注入的无关方差的上界。 古德哈特漂移。一旦分数成为目标，被测的量就会改变（第 1.2 节与第 7.5 节）。回应：这是最深的威胁，也是架构最结构性应对的威胁——慢的多来源锚、居中的有界实时信号、非对称披露。系统不声称免疫；它声称移动分数的边际成本被工程设计得很高。 价值污染。权重嵌入价值。回应：第 5.2 节把每个权重暴露为一种承诺；验收框架把这种暴露本身当作证据（第 8.3 节）。 反应性反馈。一个公开分数改变被测对象的行为。居中与不回溯纪律（第 3.5 节）是结构性回应；它们是否足够本身是一个经验问题，反身动力学在第 7.5 节讨论。

返回目录  |  ← 3 · 测量对象：AI 智原与测量场域  |  5 · 从影响力定义到构成 →