全球首个双盲 AI 评测试点：把医学临床试验思路搬进模型打分

Google DeepMind 正式试点全球首个采用双盲机制的 AI 评测，核心做法是让评估者在不知道模型身份、也不接触参考答案的前提下，仅凭模型输出本身进行打分。这一机制的关键在于把「模型是谁」和「标准答案是什么」从评估环节中被隐藏起来，使评估判断尽可能建立在输出质量本身，而非品牌光环或已知排名之上。其直接目的是减少评估过程中的主观偏差，例如评估者可能因为某个厂商的名字或榜单位置而给出不成比例的分数，或者在参考答案可见的情况下无意识地朝已知标准靠拢。从时间线看，这是一项处于试点阶段的新机制，而非已经全面铺开、覆盖所有场景的成熟评测体系，因此它的意义更多在于提供一种可验证、可复现的评测方法学，而不是立刻产出一份权威排名。要理解这一步的分量，需要先看清当前 AI 评测普遍依赖的范式。过去几年，行业衡量模型能力主要靠公开榜单，也就是在若干固定数据集上统计模型的表现，再据此排出名次。这种方式的效率很高，但也存在结构性漏洞：评测集一旦被广泛使用，模型训练就可能间接或直接地接触到题目，导致分数虚高；厂商在构建自家评测时，也倾向于挑选对自己有利的题目，形成一种「自证能力」的循环。更隐蔽的问题在于评估者效应，即人在知道模型来源时，判断会被预期所干扰。医学界早已意识到这类偏差的危害，因此发展出单盲、双盲乃至三盲的临床试验设计，通过隐藏受试者、医生乃至统计方所掌握的信息，把结论尽量从主观预期中剥离出来。Google DeepMind 此次的做法，正是把这种思路迁移到 AI 评测之中：让评估者对模型身份和答案都保持「看不见」，从而压缩偏差存在的空间。从技术原理上看，双盲的价值在于它同时切断了两条常见的污染路径。一条是数据污染，即参考答案或评测题目泄露进训练数据，使分数失去区分度；另一条是判断污染，即评估者的先入之见影响打分。传统榜单主要应对前者，而双盲评测则把注意力同时投向后者，承认「人给模型打分」这件事本身也会引入噪声。这种设计对评测的组织和成本也提出了更高要求，因为它需要一套相对独立、可追溯的评估流程，评估者要与模型厂商和题目来源保持距离，否则双盲就会流于形式。从行业影响来看，这一试点触及多方利益。对依赖榜单做采购决策的企业而言，如果双盲评测能够规模化并保证可复现，它将提供比公开排名更贴近真实使用质量的参考，减少「高分低能」的误判。对做第三方评测的机构而言，这是一种可以建立公信力的方法论武器，因为它的结论不再依赖单一厂商自报数据。对头部模型厂商而言，双盲既是压力也是机会：压力在于那些靠榜单营销、却在实际任务中表现平平的模型可能暴露；机会在于，真正靠能力说话的模型能够在更干净的环境中赢得认可。对普通用户而言，其间接收益在于市场会逐步从「谁的分数高」转向「谁在真实场景中更可靠」，推动竞争焦点回到工程能力与实用性上。不过，双盲评测并非万能。它主要解决的是评估环节的主观偏差，却无法单独解决数据污染、任务代表性不足或评测集过时等问题，因此它需要与题目更新、场景覆盖、复现校验等手段配合使用。此外，试点阶段的结果与规模化的成熟度之间仍有距离，评估者如何被招募、打分一致性如何保证、不同任务类型是否适用同一套双盲流程，都是需要验证的环节。展望未来，值得关注的几个信号值得关注。其一，这套机制是否会开放给第三方机构与研究者使用，从而形成行业公认的方法学标准，而不是停留在单一公司的内部实验。其二，试点中是否会出现与现有榜单明显不同的排序结果，如果有，这将是最有说服力的证据，证明双盲确实改变了衡量结论。其三，其他模型厂商与评测机构是否跟进采用类似设计，推动双盲从创新试点走向行业惯例。其四，评测结果能否与真实业务场景的表现形成对应，也就是双盲分数能否真正预测模型在生产环境中的可靠性。综合来看，Google DeepMind 此次试点的价值不在于立刻产出一份排名，而在于它把「如何公平地给 AI 打分」这个被长期忽视的问题重新摆上台面。当行业从「比分数」走向「比怎么比」，评测的公信力才有可能真正建立起来，而这正是衡量 AI 能力时最稀缺、也最容易被忽略的一环。