GRPOでルール学習、LLMの心の理論推論の断絶を埋める

背景と概要

心の理論（ToM）推論には、大規模言語モデルの見えにくい弱点があります。モデルは登場人物の心的状態を正しく推定できても、その推定を次の行動の予測に生かせないことがあります。たとえば、コップが動かされたことを本人は知らないと正しく読み取りながら、最終的な答えではその信念と矛盾する行動を選んでしまいます。知覚、信念、行動という三つの環節が、途中で切れてしまうのです。

本論文はこの断絶に正面から取り組みます。中心となる発想は、暗黙の思考連鎖に任せず、モデルに短い if–then ルールを書かせることです。たとえば「物が移されたところを見ていない人は、元の場所を探す」といった形で、知覚から行動への関係を明示します。著者らは Group Relative Policy Optimization（GRPO）という強化学習手法でこの習慣を訓練し、Qwen2.5 と Llama3 の両系列で検証しました。

深掘り分析

手法では、ルール生成を回答の前に置く明示的な一段階として扱います。モデルは場面を読み、知覚と行動の鍵となる関係だけを残した簡潔なルールを出し、そのルールを手がかりに行動の問いへ答えます。長い叙述は避けます。

GRPO は同じ問題に対して複数の出力をサンプリングし、グループ内の相対的な成績から各出力の優位性を推定します。別途、価値ネットワークを訓練する必要がないため、構成が軽く、小さなモデルでの強化学習にも向いています。教師あり微調整と違い、全事例に人手の正解ルールを用意する必要がなく、最終回答に役立つルールの書き方をモデル自身が探索できます。

評価は四つの ToM ベンチマークで行い、プロンプト、教師あり微調整、think 型推論の三つの基準と比較しました。ルール生成付き GRPO はいずれも上回りました。この結果は、利得が強化学習だけ、あるいは推論文を長くしただけでは説明できないことを示します。推論の中身を、再利用できる知覚から行動へのルールに絞った点が効いているわけです。

業界への影響

実務上の第一の価値は、ToM 推論の断絶を安価に補修できる道筋です。より大きなモデルや長い思考連鎖を用意しなくても、「何を見たから、どう動くか」を短いルールにさせ、GRPO で定着させれば済みます。ルールは短く読みやすいため、暗黙の長い推論より人が点検しやすく、誤りも見つけやすくなります。ユーザーの意図を汲む対話アシスタントやマルチエージェント協調、ソーシャル系アプリで参考になります。

第二の価値は転移です。著者らは各モデルが作ったルールを GPT-4o-mini に与えました。3B 以上のモデルのルールは下流タスクで GPT-4o-mini の性能を高めましたが、それより小さいモデルのルールには同じ効果が見られませんでした。ルールの質には、モデル規模に応じた能力のしきい値があるとうかがえます。

この性質はコスト面でも意味があります。訓練済みのオープンなモデルをルールの供給役にすれば、重みに触れないクローズドなモデルも、入力に添えたルールで振る舞いを改善できます。重みそのものではなく、人が読める小さなルールを共有するという、オープンソース側の新しい知識共有の形でもあります。

今後の展望

残る課題は三つあります。第一に、ルールの質をどう測るかです。論文はルールが下流の精度を助けることを示しましたが、正しくなくても役立つルールや、正しくても役に立たないルールがありえます。質の直接的な指標があれば、モデル間で共有する前に選別できます。

第二は適用範囲です。評価は登場人物の知覚、信念、行動が中心です。現実には複数の人物や、「AはBがこう信じていると考える」といった入れ子の信念が絡みます。その深さでも短い if–then ルールで足りるのか、ルール同士が衝突したときにどう選ぶのかは、要旨からは確認できません。

第三は、小さなモデルが転移可能なルールを書けない理由です。3B というしきい値は観察であって説明ではありません。推論力の差か、言語制御の差か、GRPO 訓練の報酬信号の限界かを切り分ければ、小型モデルの訓練改善につながります。なお、要旨には具体的な改善幅が示されていないため、導入を検討する方は原論文の表で数値と訓練条件を確認してください。