言語モデルの「自己保存」：凍結したモデル自身に再生データを生成させ、再生の対象も選ばせて、継続学習での忘却を減らす

まず誤解を解いておきます。この論文の題は「言語モデルの自己保存」ですが、AIが停止されないように行動する話ではありません。扱うのは機械学習の素朴な問いです。モデルが新しいことを学ぶために訓練を続けるとき、すでに持っている能力を失わないためにはどうするか。この問題を継続学習と呼び、古い能力を失う現象を破滅的忘却と呼びます。事前学習には大きなコストがかかり、その後も新しい知識を加えたり新しい分野に合わせたりするには微調整が必要です。更新のたびに他の能力が静かに失われるなら、改善は積み上がりません。

よくある緩和策は「リプレイ」です。新しいタスクを学びながら古いタスクのデータを混ぜ、モデルに復習させます。しかし論文は実際上の隙間を指摘します。保存のために指定された古いタスクは、モデルができることの一部しか覆わず、忘却はそこだけでは起きません。最近の研究では、言語モデルが元の訓練データなしで、役に立つリプレイを自分で生成できることが示されています。そこで論文は、さらに一歩進んだ問いを立てます。モデルは、自分の能力をより広く守る保存対象を選ぶのを手伝えるか。これが題の「自己保存」の意味です。

方法は、タスクの説明と任意の例を「タスクバンク」にまとめ、その項目を選んだり組み合わせたりして、凍結したモデルによるリプレイの生成を導くものです。タスクバンク自己再生では、更新前の凍結モデルが選ばれた項目のリプレイデータを生成し、微調整の間に新タスクの例と混ぜます。バンクは、何を再生するかの指定と、そのために生成された例を分けるので、モデルの能力の完全な一覧は要りません。著者はQwen3-0.6B、1.7B、4Bで指示チューニングの実験を行い、新タスクはMedQAとTRACEのC-STANCEです。バンクにはMMLU、HellaSwag、GSM8K、BoolQがあり、ARC-Challenge、WinoGrande、PIQA、SVAMPはリプレイの構築と対象の選択から外し、バンクを超えた保護を測ります。忘却の診断にはQwen3.5-4Bも含まれ、結果は5つのシードの平均です。

評価では、論文は「保持率」、つまり訓練前に正解だった問題が訓練後も正解である割合を重視します。平均精度は損失を隠すからです。あるタスクの向上が別のタスクの低下を相殺し、新たに正解になった問題が元は正解だった問題の損失を相殺することがあります。第一の発見は、訓練の選択が忘却のかたちを決めることです。新タスクと学習率が、どの古い能力が落ちるかに影響し、低い学習率は新タスクの学習と保持の両方を改善することがあります。第二は、生成されたリプレイがバンク外のタスクの忘却を減らすことです。2つの部分バンクを結合すると、3つの規模すべてで、バンク外タスクの平均の保持率が単独のバンクより高くなり、結合バンクは88.70%、93.28%、96.01%に達します。第三は、モデルが再生の対象選びを手伝えることです。4Bでは、新タスクの情報に基づく選択で、バンク外タスクの平均の保持率が95.69%になり、ランダムな選択の92.94%、バンクのみの選択の93.42%を上回り、ランダムより2.75ポイント多く、新タスクの向上は同程度でした。小さなモデルには対応する利点がありません。

強調しておくべき留保がいくつかあります。第一に、例の数を固定すると、新タスクの例を再生に置き換えることで保存は良くなりますが、新タスクの向上は小さくなります。これはトレードオフで、ただの得ではありません。第二に、論文自身が予備研究だとしており、結論は報告されたモデル、タスク、短い更新に限られ、より長期の累積は範囲外です。第三に、最大のモデルは4Bで、選択の利点もそこにしか現れないため、より大きなモデルや多くのタスクへの拡張は今後の課題です。微調整を行うエンジニアにとって最も実用的なのは測り方です。平均精度だけを見ず、以前正解だった答えがどれだけ今も正解かを問うことです。