语言模型的“自我保全”：让冻结的模型替自己生成回放数据并挑选回放目标，以减少持续学习中的遗忘

先澄清一件事：这篇论文的标题是《语言模型的自我保全》，但它讨论的并不是 AI 为了避免被关机而采取的“求生”行为，而是机器学习里一个朴素的问题：模型为了学新东西而继续训练时，怎样不把已有的能力丢掉。这个问题叫持续学习，丢掉旧能力的现象叫灾难性遗忘。预训练要花很大的成本，之后人们仍需要用微调去加入新知识或让模型适应新领域，如果每次更新都悄悄损失别的能力，累积的改进就无从谈起。 常见的缓解办法是“回放”：在学新任务的同时，混入一些旧任务的数据，让模型保持复习。但论文指出一个现实的缺口：被指定要保护的旧任务，只覆盖了模型会的一小部分，而遗忘并不会只发生在这些任务上。近期的工作显示，语言模型可以在没有原始训练数据的情况下，自己生成有用的回放数据。于是论文问了一个更进一步的问题：模型能不能帮助选择保护目标，从而更广泛地保护自己的能力？这就是标题里“自我保全”的含义。

论文的做法是把任务描述和可选的示例组织成“任务库”，其条目可以被选择和组合，用来引导一个冻结的模型生成回放。具体来说，“任务库自我回放”用更新之前的冻结模型，为选中的条目生成回放数据，再在微调时与新任务的示例混合。任务库把“要回放什么”的说明与为此生成的示例分开，所以不需要事先列出模型全部的能力。他们用 Qwen3 的 0.6B、1.7B 和 4B 做指令微调实验，新任务是 MedQA 和来自 TRACE 的 C-STANCE，任务库包含 MMLU、HellaSwag、GSM8K 和 BoolQ，而 ARC-Challenge、WinoGrande、PIQA 和 SVAMP 被排除在回放构造和目标选择之外，用来衡量对任务库之外能力的保护；论文还把 Qwen3.5-4B 放进遗忘诊断。结果取五个随机种子的平均。

评测上，论文特别引入了“留存率”，即训练前答对的题目在训练后仍答对的比例，因为平均准确率会掩盖损失：一些任务上的提高可能抵消另一些任务上的下降，新答对的题目也可能抵消原来答对而现在答错的题目。第一个发现是，训练选择决定了遗忘的样子：新任务和学习率会影响哪些旧能力退化，较低的学习率可以同时改善新任务的学习和旧答案的留存。第二个发现是，生成的回放能降低任务库之外的遗忘，合并两个部分任务库后，三个规模上任务库之外任务的平均留存率都高于任一单库，合并库的留存率分别达到 88.70%、93.28% 和 96.01%。第三个发现是，模型也能帮助选择回放目标：在 4B 上，参考新任务信息的选择把任务库之外任务的平均留存率提高到 95.69%，随机选择是 92.94%，只看任务库的选择是 93.42%，相对随机多 2.75 个百分点，新任务收益相近；较小的模型没有对应的优势。

需要强调的保留意见有几项。第一，在固定的示例预算下，把新任务示例换成回放，确实提高了保全，但代价是新任务的收益变小，所以这是权衡，不是免费午餐。第二，论文自己称这是一项试点，结论只限于所报告的模型、任务和短期更新，更长时间的累积留存不在范围之内。第三，实验的模型最大只有 4B，选择目标的优势只在 4B 出现，能否推广到更大的模型和更多任务，需要后续工作。对做微调的工程师来说，最实用的一点是评测方式：别只看平均准确率，也看“原本答对的题还剩多少”。 再补充一个读法。论文里有一项并不起眼、却很有用的观察：更新之后，某个任务的平均准确率没有下降，并不等于模型没有遗忘，因为一部分旧题可能答错、另一部分新题恰好答对，两者相互抵消。论文还指出，一次更新有时会损害旧能力，却并没有让新任务变好。这提醒做微调的人，在评估时要同时记录新任务收益、各个旧任务的逐项变化以及留存率，而不是只看一个汇总数字。