彈性潛在迴圈（ELR）：同一個檢查點，迴圈一次與同尺寸普通模型一樣快，多迴圈幾次就換來更高準確率

“迴圈式語言模型”的想法很直接：不是把幾十層各自獨立地堆起來，而是讓一小塊層重複使用多次，每多迴圈一次就多花一份推理算力。這樣同一個檢查點就能在速度與準確率之間調節，迴圈次數少就快，多就更準。但這個思路有個長期的尷尬：只迴圈一次時，模型通常明顯不如同尺寸的普通非迴圈模型。論文 2610.12582 把這個差距稱為“單迴圈稅”，並指出一旦延遲要緊，人們只好另用一個非迴圈模型，迴圈模型的“一個檢查點多種用法”也就失去了意義。論文提出的彈性潛在迴圈（Elastic Latent Recurrence，簡稱 ELR）想做的就是：一次迴圈的成本和準確率與同尺寸、同資料訓練的普通模型相當，之後每多一次迴圈就用更多推理算力換更高的準確率。

作者認為有三個設計起作用。第一，帶有可學習步長的門控狀態更新，使每一輪是在已有狀態上做受控的修改。第二，在同一次最佳化更新裡混合不同的迴圈次數：每個微批次均勻取樣一個迴圈次數，並透過所有迴圈做反向傳播；為了不丟掉一次迴圈的準確率，還強制一部分資料並行的計算單元輪換著只做一次迴圈，使一次迴圈出現的機率約為三分之一，並且一次迴圈和多次迴圈的梯度會在同一次更新裡被平均。第三，讓每一輪以自己在迴圈中的進度和總預算為條件，這樣同一塊層在不同輪次裡可以做不同的事。消融實驗顯示，常見的其他做法不能同時保住一次迴圈的準確率，前兩項負責保住它，第三項則降低每增加一次迴圈後的損失。

論文也關心成本。其一，混合深度訓練可以放到預訓練最後四分之一再引入，估計只比基線多約 16% 的訓練算力，如果在切換處加入零初始化的條件，這種後期方案的損失反而比一開始就混合深度訓練更低。其二，在混合專家模型裡，讓後面的迴圈重複使用第一次迴圈已經選出的專家路由，可把混合深度的更新時間縮短 11.7%，而準確率沒有可測的變化。其三，推理時標準做法要為每一次迴圈儲存各自的注意力 KV 快取，視訊記憶體隨深度增長。在後訓練得到的 Koi-4B 裡，六個注意力層中有三層位於迴圈塊，所以四次迴圈需要一次迴圈的 2.5 倍 KV 記憶體，即每個 128K 詞元請求 7.5 GiB 對 3.0 GiB（BF16）。改成只保留最後一次迴圈的 KV 快取，不需要重新訓練，就能把注意力 KV 記憶體固定在一次迴圈的水平，四次迴圈時分數相對按迴圈快取只下降 0 到 3%。

主要結果如下。在 4B 稠密和 30B-A3B 混合專家混合模型上，ELR 一次迴圈時在十項任務平均上比匹配基線低 0.52 分和高 1.04 分，四次迴圈再分別多出 7.25 和 4.75 分；4B 模型上最大的單項收益是 GSM8K 提高 11.8 分和 MATH-500 提高 11.3 分，30B-A3B 上是 MMLU-Pro 提高 7.5 分和 GSM8K 提高 6.5 分。代價體現在延遲上：一次迴圈的前向每一層只執行一次，因此首詞元時間和每詞元解碼延遲與非迴圈基線相同；每多一次迴圈只重複迴圈塊，在 4B 上四次迴圈時首詞元時間是基線的 2.33 倍，解碼延遲是 2.06 倍；三次迴圈就能拿到一到四次迴圈收益的 96%，首詞元時間為基線的 1.87 倍。把這套配方帶進後訓練，得到單個檢查點 Koi-4B：一次迴圈的估計得分約 18，與 Qwen3.5-4B 相當，四次迴圈約 29，這裡用的是人工分析智慧指數 v4.1 的權重。

怎樣讀這些結果？首先，所有數字都來自論文自己的實驗。作者在文中說明，Koi-4B 以及對照模型的分數都用的是自己的評測框架，而不是人工分析的官方數字，可能與已公佈的數值不同，也沒有同尺寸匹配的非迴圈模型可比。其次，“更多迴圈換更高準確率”並不是免費的：延遲、訓練複雜度和部署側的支援都要考慮，最後四次迴圈讓首詞元時間翻了一倍多。再次，論文的消融主要在較小的模型上做，能否推廣到更大規模，需要後續驗證。但如果你的產品既要低延遲的快速回答、又要在難題上多想幾輪，這個“一個檢查點、可調深度”的思路，比同時維護兩個模型要吸引人得多。