速い判断が良いエージェントを作るとは限らない：4,500回のタスク実行でJevの効率がALFWorldとAndroidWorldにどう伝わるかを検証

論文2610.13092は2026年10月中旬にarXivに現れた。題は「速い判断は良いエージェントを作らない：エージェントのワークフローにおけるJevの実証研究」。出発点は実際的だ。エージェントは判断を繰り返してタスクを終え、その判断の中核は通常LLMが担う。最近登場したJevは、その判断を速く安くできると言う。だが局所的な節約が、タスク全体の効率的で確実な完了につながるかは不明だ。当サイトは10月10日のニュースでJevを取り上げている。TypeSafe AIが公開した、Transformerベースだが大規模言語モデルではなく、テキストではなく確率を出力するモデルだ。論文はこれを「システム1モデル」と呼び、型付きの出力で、指示に基づく判断（与えられた選択肢への確率を含む）を返すと説明する。 まず設計から。著者は代表的な二つの場面を選んだ。ALFWorldの家庭内の身体性タスクは、テキスト環境とvalid_unseen分割の全134タスクを使い、AndroidWorldのスマホアプリ操作は、テキスト化したUI観測と、116種のタスクそれぞれ固定の1インスタンスを使う。五つのエージェント系統のうち、ALFWorldはReActとReflexion、AndroidWorldはT3A、AutoDroid、DroidrunのFastAgentだ。各系統で、行動選択を判断ステップごとに1回のJevリクエストに置き換え、周りの観測、履歴、実行の仕組みは残して元の構成と比べた。ALFWorldには、同じ候補リストからLLMが選ぶ「LLM-Choice」対照も加えた。各構成を同じタスクで3回ずつ回し、合計4,500回のタスク実行になる。LLMの判断と補助生成にはgpt-5.6-lunaを、Jevの判断にはjev-1.13.0を使った。費用は100万トークン当たり、LLM入力0.20ドル、出力1.20ドル、Jev入力0.042ドル、出力はゼロで計算している。

結果の第一層は有効性で、差は一様でない。ALFWorldでは、ReAct-JとReflexion-Jの成功率は96.02%と98.01%で、元の構成を1.49、1.74ポイント下回る。候補インターフェースを共通にした対照では差が1.00と0.00ポイントに縮む。AndroidWorldでは、JevがT3A、AutoDroid、FastAgentをそれぞれ13.22、2.30、18.10ポイント下回り、AutoDroidの2つの変種は成功率が20%を切る。難しさは系列の長さだけで決まらない。JevはALFWorldの「調べる、置く、冷やす」で100%に達する一方、「洗う」では約8.6、7.5ポイント遅れ、AndroidWorldのT3AとFastAgentは最短予算の層でも12.5、15.3ポイント失う。

第二層は費用と時間で、節約は速度より伝わりやすい。ALFWorldではReActとReflexionの費用が50.9%、32.6%下がり、時間は47.6%、37.8%下がった。AndroidWorldではT3A、AutoDroid、FastAgentの費用が17.1%、68.8%、43.0%下がったが、時間は10.6%、5.7%の短縮にとどまり、FastAgentは0.7%増えた。全系統でタスク当たりのトークンは増えた。理由は、選択以外の作業が節約を飲み込むことだ。基準のReActは71.17秒のうち68.31秒を行動選択に使い、Jevはこれを17.25秒に減らして、17.23秒の補助推論を足しても大きな節約を残した。T3Aは補助生成が67.47秒から96.99秒に増え、Jevの推論支出の81.9%を占める。FastAgentは判断回数が44.1%増え、1ステップ1ツールの構成が、安い判断と長いやり取りを組み合わせている。

第三層が本質で、完了度が節約の価値を決める。両構成が完了したタスクの対だけを比べると、ALFWorldは64.8〜66.2%の費用削減と59.2〜60.8%の時間短縮を保つ。だが失敗を含めると様相が変わる。Reflexion-Jでは、実行のわずか2.0%が、回復の失敗によって推論支出の53.3%を使う。成功1回当たりの費用は4系統で下がるが、T3Aでは7.7%上がり、68.70ミリドルから73.97ミリドルになる。ただしこの上昇の95%区間はゼロをまたぐ。観測された平均では、完了率の低下がT3Aの1試行当たり17.1%の節約を打ち消した。FastAgentはタスク時間がほぼ変わらず完了率が低く、成功1回当たりの時間が239.4秒から377.8秒に増えた。 第四層は失敗の軌跡だ。著者は43組のタスク、258回の実行を手作業でコード化し、2人の著者が独立にラベル付けして、ラベルごとのCohenのκの平均は0.867だった。Jevが持続的に失敗し基準が成功する組では、Jevの57回の実行のうち40回に回復の失敗が、29回に無効な探索があり、基準はそれぞれ3回と2回だった。典型例では、Wi-Fiのタスクで、ラベルが曖昧なスイッチを選んで完了と宣言し、目標は未達のまま、訂正の機会を断った。ALFWorldでは、布のつもりで手ぬぐいを選び、その後の推論が間違った物体の上で続いた。Reflexion-Jは最初の試行の成功率が95.27%で基準の93.53%を上回るが、その後に回復できた初回失敗は19件中11件、基準は26件中25件で、最終成功率は低くなった。

議論は二方向を示す。モデル開発では、簡潔な数値出力を保ちつつ、目標、行動の前提条件、矛盾するフィードバックへの感度を高めること、成功と失敗の軌跡の対比で訓練すること、利用可能な行動が目標を前進させるかの較正された信頼度を出すことを提案する。システム設計では、判断を観測可能な入力、結果、費用を持つ明示的な部品として扱い、候補のインターフェースが対象の同一性、前提条件、予想される状態変化を示すようにし、検査は完了判断と進展のない繰り返しという、失敗が終局的または持続的になる地点に集中させる。著者は、比較は評価した統合方式についてのもので、候補の構成、補助生成、フィードバックが結果を左右し、系統間の比較は交互作用の予算やワークフロー設計の違いも反映すると強調する。 私たちの見方では、この論文は、よくある宣伝の物語を検証できる問いに書き換えた。安い判断は安い結果ではない。数字は具体的で、限界もまた具体的だ。テキスト観測のみ、5つのエージェント系統、固定の1つのシード。エンジニアリングチームへの実際的な助言は、「小さくて速い」判断モデルを導入する前に、ワークフローの時間のどれだけをカバーするかを測り、失敗からの回復費用を測り、呼び出し1回当たりの価格ではなく、成功した納品当たりの費用と時間で受け入れを決めることだ。