FORGE：重みなし更新による自己進化エージェント記憶メカニズムと集団ブロードキャストプロトコル

背景と概要

動的かつ敵対的な環境下で動作する大規模言語モデル（LLM）エージェントの意思決定能力は、その静的な知識境界によってしばしば制約されています。従来のアプローチでは、エージェントの性能を向上させるために勾配ベースの更新や外部ファインチューニングが主流でしたが、これらはリアルタイム処理やリソース制約のある環境において、莫大な計算コストと複雑なデプロイメント課題をもたらしました。この課題に対処するために、本研究ではFORGE（Failure-Optimized Reflective Graduation and Evolution）という革新的なプロトコルが提案されました。FORGEは、重み更新や勾配計算を必要とせず、エージェントが自己生成した自然言語メモリを通じて意思決定を最適化することを可能にする自己進化型メモリフレームワークです。

FORGEの核心的な貢献は、基盤モデルへの勾配更新や蒸留を行わずに、エージェントが経験から学習し、長期記憶を蓄積できる点にあります。このプロトコルは階層的なReActエージェントアーキテクチャを採用しており、内部の反射ループと外部の集団ブロードキャストループという二重のループシステムによって、知識の効率的な蓄積と伝播を実現しています。内部ループでは失敗したインタラクション軌跡をヒューリスティックルールやフューショット例などの再利用可能な知識アーティファクトに変換し、外部ループでは最良のインスタンスの記憶を段階間で伝播させることで、モデルの構造を変更せずにパフォーマンスを大幅に向上させています。

深掘り分析

FORGEの技術的実装は、精緻な二層のループアーキテクチャに基づいています。内部ループでは、専用の反射エージェントがタスク実行中に遭遇した失敗軌跡を分析します。ここで重要なのは、より強力なモデルを用いた知識蒸留を行わず、同じ基盤LLMを用いて自己反省を行う点です。失敗が生じた際、反射エージェントは失敗シーケンスから汎用性の高い知識を抽出し、「ルール（ヒューリスティックガイドライン）」「例（フューショット演示）」、あるいはそれらの混合形式という3つの形式に整形してエージェントのプロンプトに注入します。これにより、勾配更新なしでエラーから学習するメカニズムが構築されます。 外部ループでは、学習の多様性と堅牢性を高めるために集団ベースのアプローチが導入されています。FORGEはエージェントインスタンスの集団を維持し、各フェーズの終了時にすべてのインスタンスのパフォーマンスを評価します。その後、トップパフォーマーの記憶を他のメンバーにブロードキャストし、成功した戦略の普及を促進します。さらに、FORGEには「卒業（Graduation）」メカニズムが組み込まれており、あるインスタンスの記憶が特定の収束基準に達すると、そのインスタンスはアクティブな集団から除去され凍結されます。これにより、冗長な学習による計算リソースの浪費を防ぎ、集団が多様な戦略を維持することで局所最適解に陥ることを回避しています。

このフレームワークの有効性は、CybORG CAGE-2というネットワーク防御用の部分観測マルコフ決定過程（POMDP）ベンチマークを用いた広範な評価によって検証されました。このタスクは30ステップのタイムホライズン内でB-line攻撃者に対抗するもので、高い確率性と複雑さを備えています。Gemini-2.5-Flash-Lite、Grok-4-Fast、Llama-4-Maverick、Qwen3-235Bという4つの主要なLLMファミリーでテストされた結果、ゼロショット設定ではこれらのモデルが強い負の重尾報酬分布を示し、複雑な防御タスクにおいて固有の難しさを抱えていました。FORGEはこれらのモデルすべてにおいて、ゼロショットおよびReflexionの基底を大幅に上回りました。 具体的な数値を見ると、FORGEを用いた場合の平均評価報酬は、ゼロショット基底と比較して1.7倍から7.7倍に向上し、単一のストリーム学習を行うReflexion基底と比較しても29%から72%の向上が見られました。さらに重要なのは、報酬が-100未満となる主要な失敗率が約1%にまで低下した点です。アブレーション研究では、卒業メカニズムを除去した変体実験により、集団ブロードキャストが性能向上の主要な駆動要因であることが確認されました。また、知識表現形式に関する調査では、フューショット例が4モデル中3つで最も高い報酬を生み出しましたが、ルール形式はトークン使用量を約40%削減しながら堅牢なパフォーマンスを維持し、コスト効率において優れていることが示されました。

業界への影響

FORGEの導入は、リソース制約のある環境におけるAIエージェントのデプロイメントに深い意味を持ちます。重み更新が不要であるため、FORGEは計算リソースが限られたエッジデバイスやリアルタイムシステムにおいて、洗練された自己進化型エージェントの導入を可能にします。これにより、モデルの保守や更新に関連するコストが大幅に削減され、先進的なAI意思決定が産業応用においてよりアクセスしやすく、実用的なものになります。自然言語メモリに依存するこのメカニズムは、エージェントの進化プロセスの透明性と解釈可能性を高め、研究者やエンジニアが蓄積された知識を直接検査・分析できるため、安全性や規制基準への準拠を確保する上で不可欠です。

サイバーセキュリティ分野において、FORGEは長期記憶と動的な脅威への迅速な適応を必要とするアプリケーションに特に適しています。CybORG CAGE-2ベンチマークでの結果は、洗練された進化型攻撃からシステムを保護する際のこのプロトコルの可能性を示しています。高い報酬スコアを維持しながら失敗率を約1%に抑える能力は、重要インフラ保護におけるその信頼性を示唆しています。また、卒業メカニズムを通じた計算リソースの効率的な管理は、継続的な監視と対応が要求される大規模な自動化運用において理想的です。

オープンソースコミュニティにとっても、FORGEは自己進化のための標準化されたアプローチを提供することで大きな恩恵を受けます。特定のモデルアーキテクチャや重み更新に依存しないプロトコルは、異なる研究チーム間の比較や協力を容易にし、新しいエージェントベースのアプリケーションの開発を加速させます。さらに、このプロトコルの柔軟性は、カスタマーサービスや自動取引、ロボティクス制御など、サイバーセキュリティ以外の多様なドメインへの適応を可能にし、異なる能力レベルのモデル間の性能格差を埋めることで、高性能AIへのアクセスを民主化する可能性があります。

今後の展望

将来、研究コミュニティはFORGEのより広範な適用可能性を多様なタスクドメインで探索する準備が整っています。会話型AIにおける長期文脈保持や、物理的相互作用からの適応的学習が必要なロボティクス制御などの分野での有効性調査が進むでしょう。記憶アーティファクトの表現の最適化や、集団ループ内でのブロードキャスト戦略の洗練が主要な焦点となる可能性があります。さらに洗練された混合知識形式の実験や、卒業基準の動的調整により、効率性とパフォーマンスのさらなる向上が図られると考えられます。

FORGEの開発は、AIエージェントの認知プロセスを理解するための新たな道を開きます。反射ループを通じて生成された自然言語メモリを分析することで、エージェントがヒューリスティックを形成し、特定の経験から一般化する方法についての洞察が得られるでしょう。これは、生物学的な記憶定着プロセスを模倣するより人間らしい学習アルゴリズムの開発につながる可能性があります。また、FORGEが重視する透明性と解釈可能性は、自律型システムが理解可能で制御可能であることを確保する責任あるAI開発の新たな基準を設定するかもしれません。

最後に、FORGEのリソース効率性の経済的インパクトは軽視できません。AIの採用が進む中で、大規模モデルのトレーニングと維持コストは依然として大きな障壁となっています。追加のトレーニングコストなしにパフォーマンスを向上させるFORGEの能力は、業界にとって持続可能な前進の道を提供します。既存のモデルの価値を最大化しながら、メモリの進化を通じて能力を継続的に改善できるこのアプローチは、より手頃でスケーラブル、かつ適応的なAIサービスの新たな世代をもたらす可能性があります。FORGEや類似のプロトコルは、自律型エージェントが知的であるだけでなく、効率的で透明性が高く、広くアクセス可能である未来を実現するAIインフラの不可欠な構成要素となるでしょう。