CAFE：自己進化する検索エージェントには共進化するフィードバックが必要

背景と概要

結果監督型の検索エージェントは、いつ・どのように証拠を検索するかを学習する。しかし終報酬は最終回答にしかスコアを付けられず、中間の検索ステップで生じた誤差を特定できず、誤差が蓄積して間違った回答になる前に進行中の軌道を修正することもできない。推論の過程で是正信号が届かない大きな空白が生じる問題である。

著者は、修正フィードバックをエージェントと批評家という2つの役割を結合する学習された軌道内介入として捉える。エージェントはフィードバックをいつ要求し使用するかを判断しなければならず、批評家は結果が混淆し、失敗パターンがエージェントの改善に伴って変化する軌道から有用な修正を推測しなければならない。エージェントが良くなるほど失敗の質が変わるため、静的な批評家はすぐにエージェントの実際のニーズから外れる。

この課題に対処するため、著者はCAFE（Coupled Agent-Feedback Evolution、結合型エージェント-フィードバック進化）を提案する。共有パラメータモデル1つで検索エージェントと批評家の役割を交代させ、フィードバックとポリシーを独立に最適化するのではなく共進化する仕組みだ。自己進化する検索エージェントには、自身が導く戦略と同期して進化するフィードバックが必要であるという核心主張を体現している。

深掘り分析

CAFEは、ベースエージェント自身の失敗を中心に構築された軌道からフィードバック条件付き回復を初期化するため、フィードバック信号はエージェントが実際に示す失敗模式に直接向かう。オンラインとオフラインの最適化は単一ループで結合され、オンライン探索が軌道を生み、オフライン処理がそこから優先度を抽出する。

オンライン強化学習フェーズでは比較性フィードバック估计が導入される。プロンプトレベルの呼び出しとスキップの成功ギャップにより、フィードバックを要求した場合と要求しない場合の成功度を対比して要求への報酬を形成する。別途フィードバック優位の再重み付けにより、フィードバック前後のトークン優位が調整され、信用分配がより精緻になる。

オフラインフェーズでは、rolloutから派生した一致した成功軌道と失敗軌道から優先度最適化によりフィードバックが学習される。モデルは正例と負例を並べて対比させることで、有効な修正を識別することを学ぶ。この閉ループは終端のみによる監督の疎報酬問題を回避し、修正を早期に介入させる。

業界への影響

CAFEは7つのagentic検索ベンチマークで評価され、従来評価された強化学習ベースの検索エージェントと比較された。平均してそれらを上回り、6つのドメイン外ベンチマークでも增益を維持した。これは改善が単一のタスク分布に過適合しておらず、ドメイン横断で一般化できることを示している。さらに回答レベルのハルシネーションを減少させ、検索と推論の一貫性が高まったことを示唆する。

片側の消融実験は、なぜ結合が重要なのかを明らかにする。エージェントのみ、あるいは批評家のみを改善すると停滞しやすくなる一方、両方を交互に更新し続けることで継続的な改善が得られる。これはフィードバックとポリシーは共進化しなければならず、単点の最適化はいずれ天花板にぶつかるという論文の核心論点を直接裏付ける。

自我進化エージェントのオープンソース研究において、このフレームワークはフィードバックを静的な外部信号ではなくポリシーと共進化するものと再定義する。フィードバック条件付き回復と比較性フィードバック估计の考え方は、オンライン判断を要する他の強化学習場面にも移転可能だ。

今後の展望

片側の改善は停滞し、交互の更新が改善を続けるという発見は、研究者を構成要素を孤立して最適化するのではなく、エージェントと批評家の動的関係をモデル化するように向かわせる。これは時間とともに真に自我進化するエージェントを構築するための方法論的基礎を提供する。

検索と推論を組み合わせるエージェントが質問回答、リサーチ、コーディングの各分野に拡大する中、自我進化する能力は中心的な工学課題となる。CAFEは共有パラメータと結合最適化を通じて、その改善を持続させる再利用可能なテンプレートを提供する。

ドメイン外ベンチマークで示された安定性とハルシネーションの減少は、信頼性が問われる実世界の場面で此类システムを展開する論拠を強化する。次のステップは、この共進化ループがより大規模で、より要求の厳しいagenticタスクにおいても成立するかを検証することだ。