HGM-Dual：系譜認識で計画エージェントのHarnessを最適化

背景と概要

この論文はarXivで公開され、計画エージェント向けのHarness最適化を扱っています。Harnessとは、凍結済みまたはクローズドソースの大規模言語モデルの周囲に組む、プロンプト、ツール、ワークフローの層です。モデルの重みは変えられないため、改良できるのは外側の殻だけです。そのためHarness最適化は、エージェントを強くする現実的な手段になっています。

代表的な既存手法が、Darwin-Godel MachineとHuxley-Godel Machine(HGM)です。どちらも再帰的な自己改善に頼り、エージェント自身が編集を繰り返して有効な変更だけを残します。主にコーディング課題で発展してきました。コーディングでは、エージェントを改善する能力と、改善対象の能力が同じです。そのため、編集のループと目的がうまく噛み合います。

計画課題では、この対応関係が崩れます。計画エージェントはツール呼び出しの列を出力し、相互に影響し合う複数の制約を同時に満たさなければなりません。著者らは、方向を絞らない開放的な自己修正は効果のない変更を何度も試し、評価予算を浪費すると指摘しています。そこで提案されたのがHGM-Dualです。診断情報で探索を導く枠組みで、計画エージェントのHarness進化を少ない予算で進めることを狙っています。

深掘り分析

HGM-Dualの第一の設計は、系譜認識コンテキストです。従来は過去のエージェントを構造のないアーカイブとして保存し、編集役が自力で読み解く形が一般的でした。HGM-Dualは祖先ごとに、何を変更したか、どの挙動が改善したか、どの挙動が悪化したか、どの修正が無効だったかを記録します。編集役は変更と結果の対応関係を見られます。どの種類の編集が有効かを判断でき、同じ行き止まりを繰り返さずに済みます。

第二の設計は、誤りに応じた二経路の子の生成です。選ばれた親ごとに、二種類の子を作ります。general childは修正の方向を限定せず、開放的な探索を保ちます。予想外の改善を見つける可能性を残すためです。specialized childrenは、親が最も多く違反した制約を狙います。まず違反の原因になりそうなHarnessのコンポーネントを判断し、そこだけを編集します。

HGM-Dualは、計画用Harnessのどこを直すかをどう決めるのでしょうか。答えは、親自身の失敗事例から得た診断情報です。違反の多い制約を順位づけ、責任がありそうなコンポーネントに対応づけます。編集役が当てずっぽうに介入先を選ぶことはありません。限られた評価予算を、効果が見込める編集に集中させつつ、general childが探索の狭まりを防ぎます。

業界への影響

評価の中心指標はcase accuracyで、計画課題の事例のうち全制約が同時に満たされた割合を指します。比較対象には、最強のベースラインとHGMの各種バリアントが含まれます。要旨が示す結果は二つです。HGM-Dualのcase accuracyは最強のベースラインより最大14.45%向上しました。さらに、HGM各種の最終性能を2〜4分の1の評価予算で達成しました。

予算面の結果は実務で重みがあります。計画課題でHarness候補を評価するには、事例の一群を最後まで実行する必要があり、候補ごとの負担が大きいからです。同じ最終精度を少ない予算で得られるなら、節約分を進化の反復回数や費用削減に回せます。クローズドなモデルを呼び出しごとの課金で使う組織には、直接効く差です。

なお「最大」という表現には注意が必要です。向上幅は設定によって変わり、14.45%は最良の場合の値です。要旨にはベンチマーク名も基盤モデルも書かれていません。アブレーションの内容も不明です。系譜コンテキストと二経路生成がそれぞれどれだけ寄与したかは、要旨だけでは判断できません。導入を考えるなら、まず本文で確認すべきです。

今後の展望

要旨から残る問いがいくつかあります。一つは診断情報の精度です。現状は違反の多い制約と、関連するコンポーネントを指し示します。より細かい信号があれば、単一のコンポーネント内での原因まで切り分けられるかもしれません。もう一つは系譜の記録です。進化が進むと記録は増え続けます。有効な帰属情報を失わずに圧縮できるかは、手元の資料では扱われていません。

適用範囲も確認が必要です。この研究は、相互作用する制約を持つ計画課題を中心に据えています。はるかに長い課題や、制約の違反を自動で検出しにくい場面で、手法がどう振る舞うかは示されていません。これらの主張には、論文本文の証拠と第三者による再現が必要です。

実務者にとって妥当な次の一手は、論文のベンチマーク一覧、モデル選択、アブレーション表を読むことです。最大14.45%のcase accuracy向上と、2〜4分の1の評価予算という数字は強いシグナルです。ただし、あくまで要旨での報告です。自社の計画ワークロードに近い設定かを確かめ、予算の節約効果を自分の事例で測ってから採用を判断してください。