不均一な物差し：METR タイムホライズンの統計的妥当性を問い直す

METR が提唱する「50% タイムホライズン」は、ここ二年ほどで AI の能力を示す指標として最もよく引用されるものの一つになった。考え方は明快である。ソフトウェアタスクのそれぞれに、人間の専門家が完了するまでにかかる時間を付与し、AI がちょうど半分の確率で成功するタスクの長さを求める。この数値が大きいほど、AI が単独でこなせる仕事が長いことになる。単位が「分」や「時間」であるため、百分率のスコアよりも一般の人々、投資家、規制当局に伝わりやすい。そのため、時間とともに指数的に上昇する曲線として描かれることが多く、これがいわゆる METR プロットである。 しかし、分かりやすい数値が信頼できる数値であるとは限らない。2026年10月に arXiv へ投稿された Drew T. Nguyen と William Fithian の論文は、この曲線を統計学の観点から見直したものである。著者らは 228 のタスクと 26 の AI モデルのデータを用い、タイムホライズンを最初から計算し直した。従来の手法には、AI にとってのタスクの難しさが、人間の所要時間の対数に対して線形である、という暗黙の仮定がある。著者らはこの仮定をそのまま受け入れず、スプラインと項目反応理論を用いた。後者は心理測定の分野で試験問題の分析に使われてきた枠組みである。両者によって、関係の形をデータ自身に決めさせたのである。

結果は興味深い。当てはめたスプラインは「変換関数」として解釈できる。人間の所要時間を入力とし、AI にとっての難しさを出力する関数である。この関数は、おおよそ 2 分から 30 分の区間でほぼ平坦であり、それ以外の区間では線形に近い。つまり、この中間帯では、人間にとってタスクが何倍にも長くなっても、AI にとってはさほど難しくならない。逆に、この帯域を外れると、所要時間が倍になるごとに難しさははっきりと上がる。 ここから直接導かれる帰結がある。同じ 10 倍の跳躍でも、その意味は同じではない。タイムホライズンが 3 分から 30 分へ伸びるのは平坦な区間の内側にあたり、比較的容易である。一方、30 分から 5 時間へ伸びるには、はるかに急な坂を登らなければならない。元のグラフで倍率だけを見ると、二つの進歩は等価に見えてしまい、AI の能力向上の速さを誤って判断する恐れがある。これは元の曲線が誤りだという意味ではない。縦軸が、ある場所では目盛りが密で、別の場所では疎な物差しのように振る舞っている、ということである。 この構造的な発見に加えて、論文は二つの実用的な貢献をしている。第一に、交差検証された一連の適正スコアリングルールのもとで、より良い成績を示すタイムホライズンの点推定を提示した。適正スコアリングルールは、誠実で較正の取れた確率予測に報酬を与えるため、異なる当てはめ方を公平に比較できる。第二に、タイムホライズンの構成概念妥当性、すなわちその数値が測ろうとしているものを本当に測っているかを調べるための診断プロットを示した。これにより、線形の仮定がどこで成り立ち、どこで崩れるのかを利用者が直接確認できる。 業界にとって、この論文の示唆は控えめで具体的である。タイムホライズンは診断プロットと併せて解釈すべきだ。特に、タイムホライズンに基づく新しいベンチマークが次々と提案される場合や、既存のベンチマークがより長いタスクを含むように拡張される場合に重要となる。長いタスクはそもそもサンプルに少なく、その端では推定が関数形の仮定にいっそう依存し、不確実性も大きくなる。きれいな傾向線を数時間、さらには数日に及ぶタスクへ外挿するには、格別の慎重さが求められる。 もちろん、この研究にも限界はある。既存のタスク集合とモデル集合に基づいており、結論が他のタスク分布にも当てはまるかどうかは今後の検証を待つ必要がある。それでも、評価コミュニティにとっては良い手本である。目を引く単一の数値で満足せず、仮定を明示し、検証し、他者が検証できる道具を提供している。こうした指標を研究計画、製品判断、政策議論に用いる人々にとって、繰り返し参照する価値のある方法論の資料である。 ベンチマークの設計者にとっての実践的な教訓もある。新しいベンチマークがタイムホライズンを報告するときは、各長さの帯域にタスクがいくつあるのか、難しさの曲線の形が検証されたのか、それとも仮定されただけなのかを問うべきである。平坦な領域では、人間の所要時間が異なる多くのタスクがモデルには似たものに見えるため、その領域のタスクを増やしても進歩に関する情報はあまり増えない。対照的に、長い側のタスクはフロンティアに関する情報を最も多く含むが、収集が最も難しく費用もかかる。優れたベンチマーク設計はこの二つの事実の釣り合いを取る必要があり、本論文の診断プロットはその釣り合いを具体的に見る手段を与えている。

最後に、この論文は、時間という単位が便利なラベルであって自然法則ではないことを思い出させてくれる。人間の所要時間は難しさの代理指標であり、代理指標は歪みうる。それを正確なものとして扱えば、自信に満ちているが脆い予測を招く。データによって形を変えうる仮説として扱えば、より良い科学につながる。それがこの研究の中心にある、静かで有用な論点である。