時間視野的刻度並不均勻：重新審視 METR 曲線的統計有效性

METR 提出的「50% 時間視野」是近兩年最常被引用的 AI 能力刻度之一。它的思路很直觀：替一批軟體任務標上人類專家完成所需的時間，再看 AI 在多長的任務上有一半的把握做對。這個數字越大，代表 AI 能獨立承擔的工作越長。因為單位是「分鐘」和「小時」，它比一堆百分比分數更容易被大眾、投資人與監管者理解，也因此常被畫成一條隨時間指數上升的曲線，也就是所謂的 METR 圖。

然而，一個好懂的數字不等於一個可靠的數字。Drew T. Nguyen 與 William Fithian 在 2026 年 10 月發表於 arXiv 的論文，正是從統計學角度回頭審視這條曲線。他們使用 228 個任務與 26 個 AI 模型的資料，重新計算了時間視野。原有做法隱含一個假設：任務對 AI 的難度，與人類完成時間的對數呈線性關係。作者沒有直接接受這個假設，而是用樣條函數與項目反應理論，也就是心理測量學裡常用於考試題目建模的方法，讓資料自己決定這條關係應該長什麼樣。

結果相當有意思。作者把擬合出的樣條解釋為一個「轉換函數」：它把人類所需時間翻譯成 AI 面臨的難度。這個函數在大約 2 到 30 分鐘的區間內幾乎是平的，在其他區間則接近線性。換句話說，在這個中間地帶，任務對人類來說變長了很多，對 AI 來說卻沒有明顯變難。反過來，一旦任務超出這個區間，時間每增加一倍，難度才會再度明顯上升。 這一發現帶來一個直接的推論：同樣是十倍的躍升，意義並不相同。從 3 分鐘推進到 30 分鐘，落在那段平坦區域裡，相對容易；從 30 分鐘推進到 5 小時，則要爬上陡得多的坡。如果只看原圖上的倍數，讀者很容易把這兩次進步當成等價的成就，進而對 AI 能力的成長速度形成誤判。這並不意味著原曲線錯了，而是說明它的縱軸在不同區段上「刻度不均勻」，就像一把一端密一端疏的尺。

除了這個結構性發現，論文還提出兩項實用貢獻。其一，作者提供了在一組經過交叉驗證的嚴格評分規則下表現更好的時間視野點估計。嚴格評分規則獎勵誠實、校準良好的機率預測，因此能較客觀地比較不同擬合方式的優劣。其二，作者給出了一套診斷圖，用來檢驗時間視野的構念效度，即這個數字是否真的在衡量它所宣稱衡量的東西。有了這些圖，使用者可以直接看到線性假設在哪裡成立、在哪裡失效。 對業界來說，這篇論文的提醒很克制，也很具體：時間視野應當與診斷圖一起解讀，尤其是當新的、以時間視野為基礎的基準不斷出現，或者現有基準開始納入更長任務的時候。隨著任務變長，樣本裡長任務本就稀少，模型在這一端的估計更依賴函數形式的假設，不確定性也更大。把一條漂亮的趨勢線外推到數小時乃至數天的任務，需要格外謹慎。 當然，這項工作也有邊界。它基於既有的任務集合與模型集合，結論能否推廣到其他任務分布，仍有待檢驗。但它為 AI 評估社群樹立了一個好榜樣：不滿足於一個吸睛的單一數字，而是公開假設、檢驗假設、提供工具讓他人檢驗。對於依賴這類指標做研究規劃、產品判斷或政策討論的人而言，這是一份值得反覆參考的方法學材料。 對基準設計者而言，這項研究還有一層更實際的啟示。當一個新基準宣布自己報告了時間視野，讀者至少應當追問兩件事：每個時長區間裡究竟有多少任務，以及難度曲線的形狀是經過檢驗的，還是僅僅被假定的。在平坦區域裡，許多人類用時各不相同的任務，在模型眼中卻大同小異，因此在那裡再添加任務，對衡量進展幾乎沒有新增資訊。相反，位於長任務一端的樣本最能反映能力的前沿，卻也最難構造、最昂貴。好的基準設計需要在這兩個事實之間取得平衡，而論文提供的診斷圖，恰好給出一種具體觀察這種平衡的辦法。

最後，這篇論文提醒我們：時間只是一個方便的標籤，並不是自然定律。人類用時是任務難度的代理指標，而代理指標是可能彎曲的。把它當作精確的刻度，會帶來自信卻脆弱的預測；把它當作可以被資料重塑的假設，才會帶來更好的科學。這正是這項研究藏在統計細節背後、安靜而有用的核心觀點。與其爭論曲線究竟有多陡，不如先弄清楚尺本身是否均勻，再決定該用它去量什麼、又能據此說些什麼。 對政策與投資的讀者來說，同樣的道理也適用。若有人宣稱某個模型的時間視野在一年內翻了幾番，就應當看看這幾番發生在曲線的哪一段：發生在平坦區域，代表任務雖然變長，難度卻沒有同步上升；發生在陡峭區域，則意味著真正的能力躍遷。只有把倍數放回難度刻度上，數字才有可比性，結論也才站得住腳。