CATCH：連続敵対的訓練でLLMの誠実性を転移可能に
大規模言語モデルは誠実性が強く求められる場面で使われる機会が増えていますが、アライメント訓練を経ても、既存の知識と矛盾する主張や、文脈で裏付けられない主張を出力することがあります。本論文は CATCH（Continuous Adversarial Training for Consistent Honesty）を提案します。有害な要求をモデルが頑健に拒否する手法に着想を得て、元の能力を保ちながら、誠実な回答に近づき不誠実な回答から遠ざかるようモデルを訓練します。評価には Llama-3.3-70B-Instruct と Qwen3-3.6-27B を使用。自己報告シナリオから作った数百件の訓練ターゲットだけで、CATCH が学んだ誠実な振る舞いは異なるベンチマークへ頑健に一般化しました。MASK では圧力下の不誠実さを一貫して低減し、マルチエージェントゲーム Among Us では自白が増え、AuditBench ではモデルの隠れた挙動の発見率が向上しました。CATCH は誠実性の向上でプロンプトや教師あり微調整を上回り、最先端の誠実性アクティベーション・ステアリングと同等です。新しい有用性データ選択により、実用性の維持ではステアリングを上回ります。
背景と概要
大規模言語モデルは、誠実性が強く求められる場面で使われる機会が増えています。しかしアライメント訓練を経ても、既存の知識と矛盾する主張や、文脈で裏付けられない主張を出力することがあります。圧力や誘導、複数ターンのやり取りが加わると、モデルは自分が信じていないことを口にしてしまいがちです。プロンプトを一つ足すだけでは、この問題は収まりません。
本論文が提案する CATCH（Continuous Adversarial Training for Consistent Honesty）は、有害な要求をモデルが頑健に拒否する手法に着想を得ています。狙いは、訓練で見た問題形式だけで効く誠実さではありません。場面をまたいでも保たれる誠実な振る舞いです。評価には Llama-3.3-70B-Instruct と Qwen3-3.6-27B が使われました。
貢献は三つあります。一つ目は、安全な拒否のための敵対的訓練を、誠実性という別の目標へ移したことです。二つ目は、数百件の訓練ターゲットだけで転移可能な誠実さを学べると示したことです。三つ目は、新しい有用性データの選択方法で、誠実になりながら元の能力を保てるようにしたことです。
深掘り分析
CATCH の訓練目標は二方向です。モデルを誠実な回答へ近づけ、同時に不誠実な回答から遠ざけます。名前にある「連続」とは、敵対的な摂動をモデルの連続的な表現空間に加えることを指します。離散的な文章プロンプトの上で攻撃を探す方式ではありません。この設計は、着想元の拒否訓練の手法から受け継いだものです。 この種の訓練では、まず攻撃側が不誠実な出力を最も引き出しやすい摂動を見つけます。次に、モデルはその摂動の下でも誠実に答えるよう学びます。そのため、通常の微調整よりも圧力に強い振る舞いが期待できます。 訓練データは自己報告シナリオから作られました。モデルが自分の行動、知識、置かれた状況を正直に述べる場面です。各シナリオには誠実なターゲットと不誠実なターゲットが対になっており、全体でも数百件と小規模です。能力を守るため、著者らは別途、有用性データを選んで誠実性ターゲットと並べて使いました。論文は、この選択方法のおかげで CATCH が誠実性ステアリングより実用性を保てると述べています。
CATCH は LLM の誠実性を、どのようにベンチマーク間で転移させるのでしょうか。CATCH は Llama-3.3-70B-Instruct と Qwen3-3.6-27B を、数百件の自己報告ターゲットだけで訓練します。誠実な回答へ近づけ不誠実な回答から遠ざける連続敵対的訓練です。学んだ振る舞いは、形式の大きく異なる MASK、Among Us、AuditBench の三つで成績を押し上げました。 三つの評価は見ている点が違います。MASK は圧力下の不誠実さを測り、CATCH はこれを一貫して低減しました。マルチエージェントゲーム Among Us では自白が増えました。AuditBench ではモデルの隠れた挙動の発見率が向上しました。訓練データとは形式が大きく違うのに、三つとも改善しています。つまりモデルが身につけたのは特定の問題形式への対処ではなく、より一般的な誠実さへの傾向だと読めます。
業界への影響
比較結果を見ると、CATCH は誠実性の向上でプロンプトや教師あり微調整を上回り、最先端の誠実性アクティベーション・ステアリングとは同等です。差が出たのは有用性です。ステアリングはモデルの能力をより多く損ないますが、CATCH はそれをよく保ちます。なお、要旨には具体的なスコアが示されていないため、本稿でも数値は挙げません。 実務上の第一の意味はデータ効率です。数百件のターゲットでベンチマーク間の一般化が得られるなら、オープンソースの開発者や小規模なチームでも、大規模な注釈作業なしに自社モデルへ誠実性の層を加えられる可能性があります。 第二に、ステアリングとの対比です。ステアリングは推論時に介入します。CATCH は振る舞いを重みに訓練として組み込みます。誠実性の向上は同程度でも、能力の維持では CATCH が優れるため、安定したモデルを運用したい現場には魅力的です。
第三に、監督との関係です。Among Us と AuditBench が示すとおり、誠実性は事実の質問に答えることだけではありません。マルチエージェントの協調での自白や、外部の監査者が隠れた挙動を見つける助けにもなります。どちらも AI の安全性の監視に直結します。
今後の展望
本研究は次の問いを残します。拒否の領域の敵対的訓練が誠実性を頑健にできるなら、他のアライメント目標にも連続敵対的訓練が頑健さをもたらすかもしれません。これは直接検証する価値があります。
留意すべき限界もあります。報告された結果は Llama-3.3-70B-Instruct と Qwen3-3.6-27B の二つのモデルに限られます。他の規模やモデルファミリーでの挙動は、まだ確かめられていません。
読者は原論文で、MASK、Among Us、AuditBench の正確なスコアと、有用性データ選択の詳細を確認してください。その詳細が、他のチームが CATCH の示す誠実性と有用性のトレードオフを再現できるかどうかを左右します。
Sources
FAQ
CATCHとは何で、どんな問題を解決する手法ですか?
CATCH(Continuous Adversarial Training for Consistent Honesty)は、有害な要求を頑健に拒否する手法に着想を得た連続敵対的訓練です。元の能力を保ちながら、LLMを誠実な回答に近づけ不誠実な回答から遠ざけ、誠実な振る舞いを異なる場面へ転移させます。
なぜCATCHはLLMの誠実性にとって重要なのですか?
CATCHが重要なのは、LLMが整合訓練後も既存知識と矛盾する主張を出すためです。数百件の訓練ターゲットだけで、MASK、Among Us、AuditBenchの結果を改善し、プロンプトや教師あり微調整を上回り、アクティベーション・ステアリングと同等で実用性の維持に優れます。
CATCHについて今後どこに注目すべきですか?
論文はLlama-3.3-70B-InstructとQwen3-3.6-27Bでのみ検証しており、記事は具体的な数値を示していません。今後は、より多くの規模やモデルファミリーでの結果と、連続敵対的訓練が他のアライメント目標にも有効かに注目すべきです。