語言模型的“自我保全”：讓凍結的模型替自己生成回放資料並挑選回放目標，以減少持續學習中的遺忘

先澄清一件事：這篇論文的標題是《語言模型的自我保全》，但它討論的並不是 AI 為了避免被關機而採取的“求生”行為，而是機器學習裡一個樸素的問題：模型為了學新東西而繼續訓練時，怎樣不把已有的能力丟掉。這個問題叫持續學習，丟掉舊能力的現象叫災難性遺忘。預訓練要花很大的成本，之後人們仍需要用微調去加入新知識或讓模型適應新領域，如果每次更新都悄悄損失別的能力，累積的改進就無從談起。 常見的緩解辦法是“回放”：在學新任務的同時，混入一些舊任務的資料，讓模型保持複習。但論文指出一個現實的缺口：被指定要保護的舊任務，只覆蓋了模型會的一小部分，而遺忘並不會只發生在這些任務上。近期的工作顯示，語言模型可以在沒有原始訓練資料的情況下，自己生成有用的回放資料。於是論文問了一個更進一步的問題：模型能不能幫助選擇保護目標，從而更廣泛地保護自己的能力？這就是標題裡“自我保全”的含義。

論文的做法是把任務描述和可選的示例組織成“任務庫”，其條目可以被選擇和組合，用來引導一個凍結的模型生成回放。具體來說，“任務庫自我回放”用更新之前的凍結模型，為選中的條目生成回放資料，再在微調時與新任務的示例混合。任務庫把“要回放什麼”的說明與為此生成的示例分開，所以不需要事先列出模型全部的能力。他們用 Qwen3 的 0.6B、1.7B 和 4B 做指令微調實驗，新任務是 MedQA 和來自 TRACE 的 C-STANCE，任務庫包含 MMLU、HellaSwag、GSM8K 和 BoolQ，而 ARC-Challenge、WinoGrande、PIQA 和 SVAMP 被排除在回放構造和目標選擇之外，用來衡量對任務庫之外能力的保護；論文還把 Qwen3.5-4B 放進遺忘診斷。結果取五個隨機種子的平均。

評測上，論文特別引入了“留存率”，即訓練前答對的題目在訓練後仍答對的比例，因為平均準確率會掩蓋損失：一些任務上的提高可能抵消另一些任務上的下降，新答對的題目也可能抵消原來答對而現在答錯的題目。第一個發現是，訓練選擇決定了遺忘的樣子：新任務和學習率會影響哪些舊能力退化，較低的學習率可以同時改善新任務的學習和舊答案的留存。第二個發現是，生成的回放能降低任務庫之外的遺忘，合併兩個部分任務庫後，三個規模上任務庫之外任務的平均留存率都高於任一單庫，合併庫的留存率分別達到 88.70%、93.28% 和 96.01%。第三個發現是，模型也能幫助選擇回放目標：在 4B 上，參考新任務資訊的選擇把任務庫之外任務的平均留存率提高到 95.69%，隨機選擇是 92.94%，只看任務庫的選擇是 93.42%，相對隨機多 2.75 個百分點，新任務收益相近；較小的模型沒有對應的優勢。

需要強調的保留意見有幾項。第一，在固定的示例預算下，把新任務示例換成回放，確實提高了保全，但代價是新任務的收益變小，所以這是權衡，不是免費午餐。第二，論文自己稱這是一項試點，結論只限於所報告的模型、任務和短期更新，更長時間的累積留存不在範圍之內。第三，實驗的模型最大隻有 4B，選擇目標的優勢只在 4B 出現，能否推廣到更大的模型和更多工，需要後續工作。對做微調的工程師來說，最實用的一點是評測方式：別隻看平均準確率，也看“原本答對的題還剩多少”。 再補充一個讀法。論文裡有一項並不起眼、卻很有用的觀察：更新之後，某個任務的平均準確率沒有下降，並不等於模型沒有遺忘，因為一部分舊題可能答錯、另一部分新題恰好答對，兩者相互抵消。論文還指出，一次更新有時會損害舊能力，卻並沒有讓新任務變好。這提醒做微調的人，在評估時要同時記錄新任務收益、各個舊任務的逐項變化以及留存率，而不是隻看一個彙總數字。