GoogleがAgents CLIの評価ループを解説、要約スコアの落とし穴を4ケースで示す

Googleの開発者ブログは2026年10月28日、AIエージェント構築ツールAgents CLIの評価コマンドを解説する記事を公開した。小さなデモ用エージェントを使い、テストケースの実行、結果の採点、実行の比較、差の活用という循環を示している。中心の警告は、要約スコアは誤解を招きうるので、ケースごとの結果を読むべきだという点だ。本文のスコア比較は4ケースのデモによるもので、実製品のベンチマークではない。別にGoogle自身の研究結果も紹介される。

evalの名前空間には5つのコマンドがあり、それぞれ役割が違う。eval generateは、データセットのケースに対してエージェントを実行する。eval gradeは、生成されたトレースを採点する。eval compareは、2つの結果ファイルを並べて比較する。eval analyzeは、失敗をテーマごとにまとめる。eval optimizeは、エージェントのプロンプトを自動で改善する。著者はこの手順全体を山登りと呼ぶ。エージェントを変え、ケースを再実行し、スコアが上がれば残し、下がれば戻す。

デモはAgents CLI v1.8.0に付属するLangChainのテンプレートを使う。gemini-3.8-flashで動くカスタムの審査指標が、各回答を正確さ、関連性、明確さで1から5で採点する。著者は、1ケースだけの初期データセットを、挨拶、天気の質問2つ、話題外の質問の4ケースに広げる。基準の平均は5点満点で4.0、標準偏差は1.41だった。全部が5.0なら、エージェントが完璧か、データセットが易しすぎて差が出ないかのどちらかなので、ばらつきは健全だと著者は読む。

次に現実的な間違いを仕込む。開発者がシェフの人格を天気エージェントのシステムプロンプトに誤って貼り付ける。リント、単体テスト、型検査は通り、エージェントも動く。平均は2.75に落ちた。ケース別の比較で損失の場所が分かる。挨拶は口調で1点、話題外の質問は範囲の逸脱で2点、sf_weatherのケースは、エージェントが天気ツールを呼ばなくなって値を作り出したため2点を失った。文脈の中で振る舞いを採点するエンドツーエンドの評価だけがこの種の不具合を見つける、というのが著者の主張だ。

2つ目の実験では、エージェントのモデルをgemini-3.8-flashからgemini-2.5-flashに替える。記事の記載では、平均は同じく4.00から2.75になるが、ケース別の様子は違う。安いモデルは、挨拶と天気の1問では同じ点で、もう1つの天気の質問で1点を失い、目立つ低下は話題外の質問で、出来事がまだ起きていないという言い逃れで回答を拒んだことによる。著者は、あるモデル向けに調整したプロンプトは別のモデルで力が落ちうること、公平な比較のために審査モデルを固定する必要があることを注意している。

記事はスケジュール実行と限界にも触れる。Agents CLIにはスケジューラーがないので、cronやCloud Schedulerで夜間にgenerateとgradeを動かし、平均が閾値を超えて下がったら非ゼロで終了する小さなスクリプトを付けられる。eval optimizeはGEPAフレームワークでADKのプロジェクトに使え、LangChain拡張には対応しない。変えるのはプロンプトだけで、指標の言い回しに合わせた過学習でスコアを上げることがあるため、人が候補を確認する。Googleはまた、自社の対照研究で、このツールを使うコーディングエージェントが評価を4倍多く実行したが、評価後にエージェントを変更する頻度は基準とほぼ同じだったと述べる。これはGoogle自身の主張で、記事にデータはない。

実際的な教訓は控えめだ。毎日のデータセットは変更のたびに回せる大きさに保ち、スコアだけでなく結果ファイル全体を残し、平均を信じる前にケース別の差を読む。どのケースが重要かという判断は、ツールではなくチームが持たなければならない。