8 · 验证:逐段验收与证据
8.1 · 验收框架
我们对照在证据之前陈述的验收标准核验三个科学性质(科学、公平、实时)。可及性性质对照呈现层的保真度边界标准核验(第 6.8 节)。构念效度性质对照第 8.6 节的验收标准核验。证据按强度标注:在窗口较短之处,证据是说明性的,而非统计性的。
8.2 · 科学验收
标准:第 6.9 节的不变量在已发布数据上成立,尺度表现为慢锚 / 实时信号的分裂。 证据。守恒恒等式在一个结算 tick 上被确认(命题 6.9);审计不等式(命题 6.14)在观察窗口内每 tick 成立。时间尺度的分离在两个分量语义中可见:FA 是单调存量,RI 是衰减流量;在像当前这样短的观察窗口内,锚预期变动很小,而实时信号变动大得多。对这一时间尺度分裂的定量确认需要更长窗口,被列为未来工作(第 8.9 节)。支持这一讨论的 FA 快照连同其采集日期在附录 G 给出;按设计它是快照而非时间序列(实时信号不在此复现)。 会使检验失败的反事实。一个结算 tick 上守恒恒等式被违反,或任何 tick 上审计不等式被违反,都会使标准失败。窗口内两者都未发生。因为窗口短,时间尺度分离证据是说明性的,且这些声明是不变量检验与设计属性,而非假设检验(Amrhein et al., 2019)。
8.3 · 公平验收
标准:对账可行,来源覆盖被披露,更正被记录,被测输入以第三方为主。 证据。双轨审计(命题 6.14 的不等式)被用作窗口内绝对热度线与带符号线之间的自动对账检查。来源覆盖与缺失值协议被记录(附录 B);一个更正日志记录对账本的调整。首次范围中的组织与工具归属(第 3.6 节、附录 C)在写作时对照一手来源逐项检查,范围以网络核实可用的程度为限。 会使检验失败的反事实。一个无法对照其登记分类对账的缺失值处理,或一个没有日志条目的账本更正,都会使标准失败。审计轨迹被设计得使该失败在原则上可检测。
8.4 · 实时验收
标准:三层延迟标尺(采集 / 定价 / 展示)被测量,对已知事件的响应可演示。 证据。管线以第 7.3 节的标尺运行:采集约 1–5 分钟、定价在 L2 分桶、展示在分钟级。因为窗口短且实时信号不在此复现,事件响应演示是说明性的而非统计检验:结算 tick 行为(冻结锚、批量注入、居中)与重新开盘语义被观察到与设计一致。完整的延迟与事件响应研究是未来工作。
8.5 · 可及性验收(指数层)
标准:呈现层工件(一个数字、一条线、一个标准)由一个保持排名与相对量级的良定义映射产生,并通过“不违反科学公平”检查。 证据。映射是第 6.8 节的投影;按构造它保持排名(在旗舰线上是保序的)并声明其聚合。附录 G 中的 V1 快照作为输出层“一眼即懂”的演示。这是关于呈现层保真度的证据,而非关于世界的科学证据。
8.6 · 构念效度验收
第 4 章的构念效度主张需要它们自己的验收框架,因为它们是关于理论构念的主张,而非关于系统内部一致性的主张。表 5 对每个效度主张给出验收标准、证据状态与失败条件。
表 5. 构念效度验收标准。“证据状态”使用 现在(写作时证据已存在)、计划中(设计已定义,数据尚未收集)与进行中(持续监控)。
| 主张 | 验收标准 | 状态 | 失败条件 |
|---|---|---|---|
| 内容效度 | 每个块/轨道映射到一个定义渠道;无渠道为空 | 现在 (命题 4.1) | 一个无渠道的块,或一个无块的渠道 |
| 聚合,渠道 | 独立评估套件与块内排序一致 | 计划中 | 跨方法的差异超出既定容差 |
| 聚合,外部 | 渠道分数与非输入采纳度量相关 | 计划中 | 近零或符号反转的相关 |
| 区分,渠道 | 能力对生态排名不近似完全共线 | 现在 (§11.2) | 与单一潜在因子一致的共线性 |
| 区分,时间 | FA 窗口内稳定;RI 变动 | 计划中 | 两个尺度上可比变动 |
| 已知群体 | 顶层智原是有据可查、无处不在的 | 现在(弱) | 一个无证据单位排在已记录无处不在的单位之上 |
| 事件后果 | 发布/事故按预测推动相关分量 | 计划中 | 事件上系统性符号反转 |
该框架是本文对“怎么有人会知道指数在测量影响力?”的回答——不是靠系统断言,而是靠一个失败条件事先陈述的、持续运行的检验程序。现在、计划中与进行中之间的区分是框架的诚实:写作时,系统有内部一致性证据与初步区分证据,缺少只有时间与独立数据才能提供的外部聚合证据。
8.7 · 定量 FA 敏感性设计
合成值指标的可靠程度与其敏感性分析相当;方法论文献毫不含糊:一个在小权重扰动下排名翻转的指标不是测量,而是选择 (Saisana et al., 2005; Nardo et al., 2005)。因此系统在 V1 发布被当作权威之前采用一个定量敏感性设计。该设计遵循 Saisana 等人的不确定性与敏感性框架 (Saisana et al., 2005):在既定范围内扰动输入与权重,报告排名与不变量移动多少。
表 6. 定量 FA 敏感性设计。每个因子是计划实验中的一个自由参数;“扰动”陈述设计范围。
| 因子 | 基线(V1) | 扰动 | 报告输出 |
|---|---|---|---|
| 顶层权重 | (构成) | 排名翻转 | |
| 组内权重 | ; | 排名翻转 | |
| 能力来源权重 | 个来源 | 各 | 排名翻转 |
| 缺失值分类 | 登记表 | 对边界情形重分类 | 排名翻转 |
| 归一化规则 | 线性 / 重尾 | 按因子类别互换 | 排名翻转 |
| 来源覆盖 | 当前名单覆盖 | 一次丢弃一个来源 | 排名翻转;守恒 |
| 、 封顶 | 附录 B | 到封顶 | 守恒界 |
两个可报告项是 (i) 排名翻转矩阵(每次扰动下多少对排名反转,用翻转计数与最大单因子翻转概括)与 (ii) 不变量稳定性(扰动下的守恒与审计不等式,它们按构造必须成立并被数值重检)。设计的验收标准事先陈述:若某个因子被移除或重加权后导致超过既定比例的截面排名发生翻转,该因子即被标记为主导因子,委员会决定该因子的主导性是领域事实还是构成缺陷(第 10 节)。敏感性分析还覆盖 Leamer 式极端边界问题 (Leamer, 1983):当权重在一个合理的取值区间内变动时,报告每个单位的排名范围;读者看到的不是一个排名,而是排名的稳健区。
8.8 · 失效模式与威胁矩阵
操纵抵御(第 7.5 节)与数据完整性(第 9.1 节)足够正式,值得一个合并的威胁矩阵。表 7 列出设计所防御的失效模式、失效机制、防御与防御后仍存的残余风险。残余风险是如实保留的部分;它们是治理与监控议程的输入(第 10 节)。
表 7. 失效模式与威胁矩阵。“防御”是设计机制;“残余风险”是即便防御在场所仍存在的东西。
| 失效模式 | 机制 | 防御 | 残余风险 |
|---|---|---|---|
| 基准污染 | 泄露条目抬高能力 | 多来源加权能力;污染感知来源 | 跨所有来源的慢污染 |
| 评估者偏差 | LLM 作评判的自我偏好 | 极性的人工裁决;价值暴露 | 残余标注者方差 |
| 排名操纵 | 虚假人气移动实时信号 | 居中;预算;已核实来源;不透明参数 | 协调的跨来源爆发 |
| 来源俘获 | 一个提供者控制一个因子 | 熔断器;冗余;可替换性 | 来源自身的慢漂移 |
| 归属错误 | 工件映射到错误智原 | 登记映射;未映射桶 | 历史中的遗留错误归属 |
| 缺失数据操纵 | 缺席被转化为优势 | 四态分类;登记分类 | 边界分类误判 |
| 总池膨胀 | 不居中实时项扩大池 | 居中(命题 6.9) | 来自 的残余近似 |
| 反身放大 | 指数讨论喂养指数 | 放大器在 V1 关闭;普通渠道处理 | 未检测的间接反身性 |
| 展示误读 | 微变动被当作微弱信号 | 双值过程;收盘收敛 | 对噪声的残余误读 |
| 停盘规避 | 停盘用于掩盖坏消息 | 停盘限于完整性事件;披露 | 误判的停盘边界 |
| 权重俘获 | 委员会被被测行动者俘获 | 已发布规则;版本向量;独立来源 | 慢的制度俘获 |
| 方法近视 | 错误构念被操作化 | 构念效度纲领 | 未被证伪的错误构念 |
十二行不是完整的威胁目录;它是设计在工程上予以抵御的那份目录,且其发布使残余风险与防御受到同样的审查。第 10 节的治理议程围绕残余列组织:每个残余风险都有一个所有者(一个审计检查、一个监控循环或一次治理评审)。
8.9 · 局限性
由于 FA 锚按设计缓慢变动(第 5.3 节),首次时点快照本身就是有意义的读数;关于锚跨结算期如何变动的论断须待更长的窗口,故推迟作出。榜单很小(首次评估十二个智原),所以相对度量比扩围之后更粗。重叠的能力来源产生相关的榜单中部噪声;并列被透明报告。统一校准实验——对 V1 参考参数对照留出评估的一次批量重估——是未来工作(第 12.2 节);已发布值是 V1 生产值,而非等待校准的占位符。RI 与事件和时间强相关,其数值实现在设计上无法被外部方复现;这是测量的一个边界(其实时分量不是端到端可核实的)而非隐藏缺陷,并且它是操纵抵御的代价(第 7.5 节)。为完整性再陈述两条边界。第一,构念效度的外部聚合证据是计划中、尚未收集;该指数是一个效度论证尚在进行中的测量系统(第 8.6 节)。第二,构成的数值权重是 V1 生产值,其稳健区尚未被测量;第 8.7 节的敏感性设计是计划,权重是生产值,而非校准的最优值。