MARGIN：無需重訓與校準集的多智能體執行期信心校準

多智能體系統有一個常見的偷懶做法：讓幾個模型各答一遍，再挑「最有把握」的那個。這個做法預設一個前提，即模型報出的信心和它的實際準確率同方向變化。

MARGIN 這篇論文正是對這個前提發難。它的全稱是 Multi-Agent Runtime Grading via Incremental Normalisation，作者是 Joss Armstrong，arXiv 編號 2605.22949，v1 提交於 2026 年 5 月 21 日，最新的 v4 於 2026 年 10 月 8 日修訂。

問題：自信並不等於正確

作者在 BigCodeBench 上做了一個很直白的觀察：模型的平均信心與準確率之間呈負相關。也就是說，說話越篤定的模型，平均而言反而錯得越多。再看配對情形：每一對答案裡，一個對、一個錯，如果總是選信心較高的那個，命中率會低於隨機水準。對任何用「誰更有信心」來仲裁的編排層來說，這是一個很不舒服的結論。

原因並不神祕。不同模型的「自信」標尺並不一致。有的模型習慣給出很高的數字，有的則偏保守。把這些原始數字直接放在一起比較，就像把用攝氏度和華氏度記錄的讀數直接相減。

核心機制：執行期的增量歸一化

根據摘要，MARGIN 的做法是在執行期，從已觀察到的答案結果裡，為每個模型學出一個與該模型綁定的信心修正。它不重訓模型，也不需要事先留出的校準集。具體來說，系統按信心區間記錄兩個量：最近一段時間的準確率，以及模型所述的信心。兩者之比，就是對該區間內報告值的修正係數。名稱裡的「增量」和「歸一化」大致對應這兩層意思：修正隨新結果逐步更新，且把各模型的數字拉到可比較的同一尺度上。

修正後的信心隨後用來給候選答案加權，在集體決策中投票。換句話說，MARGIN 不改變模型本身，也不改變投票的框架，只是在兩者之間插入一層很薄的「換算」。這種設計讓它容易接入現有的編排邏輯。需要說明的是，視窗長度、區間劃分等具體超參數在我們讀到的論文頁面上沒有給出，使用者應以原文為準。

實驗設置與已報告的結果

論文使用了 18 個模型的模型池，並取其中九個模型的子集做分布漂移實驗，任務涵蓋程式碼生成、問答和數學。作者還設置了五個線上校準基線，並讓它們拿到與 MARGIN 完全相同的回饋，以保證比較公平。

在漂移之後的期望校準誤差（ECE）上，兩個程式碼生成的轉換中，MARGIN 低於全部五個基線；在一個問答轉換中，它低於其中四個，另一項比較被作者描述為尚無定論。這是一個誠實的表述：並非每個場景都全勝。在答案選擇準確率上，相對於未校準的信心加權，三個基準中有兩個分別提升了 4.3 和 14.0 個百分點。摘要沒有給出第三個基準的數字，也沒有提供延遲或成本資料。

對開發者與企業的意義

第一，它直指工具鏈裡的級聯幻覺。在長鏈路的智能體流程中，上游一個自信的錯誤會被下游當作事實繼續使用。如果仲裁訊號本身失真，錯誤就會被放大。把信心先校準再使用，是一個成本很低的防線。

第二，它不依賴離線資料。很多團隊沒有現成的校準集，或者模型版本更新很快，舊的校準很快過期。MARGIN 靠線上回饋自我修正，適合模型池經常更換的場景。

第三，它給「棄權」提供了更可信的依據。校準後的信心可以用來決定何時拒答或轉交人工，而不是拿一個失真的數字去設閾值。

局限與需要謹慎的地方

其一，它依賴結果回饋。系統必須事後知道答案是否正確，例如測試是否通過、是否有標準答案。對開放式寫作、缺少驗證手段的任務，這個前提不成立。

其二，論文頁面沒有披露延遲與算力開銷，工程團隊需要自行壓測。其三，這是單作者預印本，經過四次修訂，但我們沒有看到同行評審的證據。其四，作者自己承認一項問答比較沒有結論，說明方法在某些漂移類型下不一定占優。最後，18 個模型和三類任務雖然不少，卻不等於涵蓋了真實生產裡的所有工作負載。

落地時的實務建議

如果團隊想試用這類方法，可以分三步走。第一步，先蒐集日誌：記錄每次呼叫中各模型給出的答案、所述信心，以及事後得到的對錯結果，看一看兩者在自己的任務上是否真的同向。

第二步，在影子模式下執行校準層，只記錄修正後的權重，不改變線上決策，把它與現有的仲裁規則對照，觀察答案選擇的準確率是否有可見的提升。第三步，再逐步放量，並持續監控模型更換或任務類型變化之後的校準誤差，因為這正是線上修正應當發揮作用的時刻。整個過程中，回饋訊號的品質比演算法細節更重要：雜訊很大的對錯標籤，會直接污染每個區間的準確率估計。

小結

MARGIN 的價值不在於提出了複雜的新模型，而在於把一個被預設的假設攤開檢驗，並給出一個輕量的修補。

對正在構建多智能體編排的團隊，最實用的做法是：先在自己的任務上測一測「信心與準確率是否同向」，再決定要不要加這一層校準。如果答案是否定的，這篇論文值得認真讀完。