エージェントはタスクを一度クリアした：次は再現できるか？ALTK-Evolveが暴く軌跡の揺らぎ
IBM ResearchとHugging Faceは、エージェントがベンチマークを単発クリアしても複数回実行で崩壊する問題を解決すべく、軌跡発散度を測定し自動安定化するALTK-Evolveを公開しました。
華々しいベンチマークの裏に潜む「再現性の危機」
大規模言語モデル（LLM）を中核に据えた自律型AIエージェントは、ソフトウェア開発やクラウド運用の自動化において急速に実用化が進められています。ベンチマークテストのスコアボードを見れば、SWE-benchやGAIAなどの主要な評価セットにおいて、最新モデルは60〜70%を超えるpass@1（初回実行時のタスク成功率）を叩き出しており、一見すると実務レベルの自律性を完全に獲得したかのように見えます。
しかし、これらのエージェントを本番環境のCI/CDパイプラインや夜間自動バッチ処理に組み込んだエンジニアたちは、過酷な現実に直面しています。それが「フレイキー・エージェント（Flaky Agent）危機」と呼ばれる再現性崩壊の問題です。同一の入力指示と同一のリポジトリ状態に対してエージェントを5回繰り返し独立実行（pass^5）させると、初回実行で75%を誇っていた成功率が10%以下へと壊滅的に暴落する事例が頻発しています。ある回では見事にバグを特定して修正パッチを当てる一方で、別の回ではわずかな環境出力の差異に惑わされ、無意味なファイル探索を繰り返して無限ループに陥ります。
この実用化を阻む巨大な壁を打破するため、IBM ResearchとHugging Faceは共同で、エージェントの実行軌跡の揺らぎを科学的に測定し、自動的に安定化させるオープンソースフレームワーク「ALTK-Evolve」をリリースしました。
軌跡発散度（TDI）：思考と行動のブレを可視化する新指標
なぜエージェントは同一タスクでこれほどまでに振る舞いを変えてしまうのでしょうか。従来の評価方法は、エージェントが最終的に生成したコードやテキストがテストをパスしたかどうかという「結果論」のブラックボックス検証に終始していました。しかし、エージェントの自律ループ（ReActなど）においては、サンプリング時のわずかな確率差や非同期なツールの応答遅延が意思決定の分岐を引き起こします。 一度間違った軌跡へと足を踏み入れると、誤った観察結果（Observation）がコンテキスト履歴に蓄積され、後続の推論（Thought）を歪め、最終的に破滅的なツール呼び出しへと連鎖していきます。ALTK-Evolveはこの内部崩壊プロセスを捉えるため、以下の画期的な定量的指標を導入しました。 1. **軌跡発散指数（Trajectory Divergence Index, TDI）**：タスク解決プロセスをツール呼び出しと環境状態遷移からなる有向非巡回グラフ（DAG）として定式化します。複数回実行にわたるグラフ間の重み付き編集距離と状態訪問エントロピーを計算し、エージェントの振る舞いがどのステップで発散したかを数値化します。
2. **ツール呼び出しエントロピーと引数ジッター**：同一の目的を達成する過程で、エージェントが選択するツールの種類や渡される引数の構文的な揺らぎ（クォートの有無、検索クエリの曖昧さなど）を追跡し、実行失敗に直結する微細な振る舞いの不安定さを検出します。
IBMとHugging Faceの広範な調査により、マルチラン環境における失敗の65%以上は、推論能力自体の不足ではなく、微小な環境変動に起因する軌跡の暴走が原因であることが浮き彫りになりました。
自動安定化レシピ：プロンプト変異と状態ロールバックの実装
ALTK-Evolveは単なる測定ツールにとどまらず、エージェントの実行ループを本番グレードへと引き上げる「適応型安定化レシピ」を提供しています。
- **自律的プロンプト進化プロトコル**：高いTDIを示した分岐点に対し、フレームワークは進化アルゴリズムを用いてシステムプロンプトを自動的に改良します。例えば、特定のエラーログに対して不要な探索を抑制し、決定論的なフォールバック手順を踏むような「行動不変条件（In-context Invariants）」をプロンプト内に動的合成します。これにより、モデルの再学習を行うことなくpass^5の一貫性を4倍以上向上させることに成功しました。
- **スナップショットと動的ロールバック機構**：エージェントの行動が安全領域を逸脱したと判定された場合、環境とコンテキストを直前の安定チェックポイントへと即座に巻き戻します。汚染された対話履歴を破棄して別の有望な分岐を再探索させることで、死のループを未然に遮断します。
- **厳格なスキーマインターセプター**：ツール実行の入力引数に対してPydanticによる厳格な型検証を行い、不正な形式の呼び出しをサンドボックス手前で遮断して自律修復を促します。
単発ベンチマーク信仰からの脱却
ALTK-Evolveの登場は、AI業界全体におけるエージェント開発のパラダイムシフトを象徴しています。
「1回だけ成功したデモ」に一喜一憂する時代は終わり、本番システムで求められるのは「何度実行しても同じ品質で完遂する再現性」です。CI/CDパイプラインにALTK-Evolveを組み込むことで、開発者はエージェントのリリース前にpass^k耐久試験を課し、堅牢な運用基盤を確立できるようになります。
Sources
FAQ
エージェント評価におけるpass^k崩壊とは何ですか？
pass@1では好成績を記録する自律型エージェントが、同一タスクを独立して複数回（k回）反復した際に、実行ステップの非決定性やツール選択のブレにより総合成功率が劇的に低下する実用上の破綻現象です。
ALTK-Evolveはどのように軌跡の発散を測定しますか？
複数回実行されたツール呼び出し列と状態遷移を有向非巡回グラフとしてモデル化し、グラフ編集距離や状態訪問エントロピーを算出することで、意思決定が分岐した具体的なノードを定量的に特定します。
どのような自動安定化策が組み込まれていますか？
反復プロンプト変異による制約強化、ツールの引数スキーマ検証ガードレール、および状態ロールバックを備えた閉ループ制御機構により、自律性を損なわずに複数回の実行一貫性を大幅に高めます。