时间视野的刻度并不均匀：重新审视 METR 曲线的统计有效性

METR 提出的“50% 时间视野”是近两年最常被引用的 AI 能力刻度之一。它的思路很直观：给一批软件任务标上人类专家完成所需的时间，再看 AI 在多长的任务上有一半的把握做对。这个数字越大，说明 AI 能独立承担的工作越长。因为单位是“分钟”和“小时”，它比一堆百分比分数更容易被公众、投资人和监管者理解，也因此常被画成一条随时间指数上升的曲线，也就是所谓的 METR 图。 然而，一个好懂的数字不等于一个可靠的数字。Drew T. Nguyen 与 William Fithian 在 2026 年 10 月发表于 arXiv 的论文，正是从统计学角度回头审视这条曲线。他们使用 228 个任务和 26 个 AI 模型的数据，重新计算了时间视野。原有做法隐含一个假设：任务对 AI 的难度，与人类完成时间的对数呈线性关系。作者没有直接接受这个假设，而是用样条函数和项目反应理论，也就是心理测量学里常用于考试题目建模的方法，让数据自己决定这条关系应该长什么样。

结果相当有意思。作者把拟合出的样条解释为一个“转换函数”：它把人类所需时间翻译成 AI 面临的难度。这个函数在大约 2 到 30 分钟的区间内几乎是平的，在其他区间则接近线性。换句话说，在这个中间地带，任务对人类来说变长了很多，对 AI 来说却没有明显变难。反过来，一旦任务超出这个区间，时间每增加一倍，难度才会再度明显上升。 这一发现带来一个直接的推论：同样是十倍的跃升，意义并不相同。从 3 分钟推进到 30 分钟，落在那段平坦区域里，相对容易；从 30 分钟推进到 5 小时，则要爬上陡得多的坡。如果只看原图上的倍数，读者很容易把这两次进步当成等价的成就，进而对 AI 能力的增长速度形成误判。这并不意味着原曲线错了，而是说明它的纵轴在不同区段上“刻度不均匀”，就像一把一端密一端疏的尺子。

除了这个结构性发现，论文还给出两项实用贡献。其一，作者提供了在一组经过交叉验证的严格评分规则下表现更好的时间视野点估计。严格评分规则奖励诚实、校准良好的概率预测，因此能比较客观地比较不同拟合方式的优劣。其二，作者给出了一套诊断图，用来检验时间视野的构念效度，即这个数字是否真的在度量它声称度量的东西。有了这些图，使用者可以直接看到线性假设在哪里成立、在哪里失效。 对行业来说，这篇论文的提醒很克制，也很具体：时间视野应当与诊断图一起解读，尤其是当新的、基于时间视野的基准不断出现，或者现有基准开始纳入更长任务的时候。随着任务变长，样本里长任务本就稀少，模型在这一端的估计更依赖函数形式的假设，不确定性也更大。把一条漂亮的趋势线外推到几小时乃至几天的任务，需要格外谨慎。 当然，这项工作也有边界。它基于既有的任务集合与模型集合，结论是否能推广到其他任务分布，仍有待检验。但它为 AI 评估社区树立了一个好榜样：不满足于一个吸引眼球的单一数字，而是公开假设、检验假设、给出工具让他人检验。对于依赖这类指标做研究规划、产品判断或政策讨论的人而言，这是一份值得反复参考的方法学材料。

对基准设计者而言，这项研究还有一层更实际的启示。当一个新基准宣布自己报告了时间视野，读者至少应当追问两件事：每个时长区间里究竟有多少任务，以及难度曲线的形状是经过检验的，还是仅仅被假定的。在平坦区域里，许多人类用时各不相同的任务，在模型眼中却大同小异，因此在那里再添加任务，对衡量进展几乎没有新增信息。相反，位于长任务一端的样本最能反映能力的前沿，却也最难构造、最昂贵。好的基准设计需要在这两个事实之间取得平衡，而论文提供的诊断图，恰好给出一种具体观察这种平衡的办法。

最后，这篇论文提醒我们：时间只是一个方便的标签，并不是自然定律。人类用时是任务难度的代理指标，而代理指标是可能弯曲的。把它当作精确的刻度，会带来自信却脆弱的预测；把它当作可以被数据重塑的假设，才会带来更好的科学。这正是这项研究藏在统计细节背后、安静而有用的核心观点。与其争论曲线究竟有多陡，不如先弄清楚尺子本身是否均匀，再决定该用它去量什么、又能据此说些什么。 对政策与投资的读者来说，同样的道理也适用。若有人宣称某个模型的时间视野在一年内翻了几番，就应当看看这几番发生在曲线的哪一段：发生在平坦区域，说明任务虽然变长，难度却没有同步上升；发生在陡峭区域，则意味着真正的能力跃迁。只有把倍数放回难度刻度上，数字才有可比性，结论也才站得住脚。