更快的決策不等於更好的智慧體：4,500 次任務執行檢驗 Jev 在 ALFWorld 與 AndroidWorld 中的效率傳導

論文 2610.13092 於 2026 年 10 月中旬出現在 arXiv 上，題目是《更快的決策並不讓智慧體更好：Jev 在智慧體工作流中的實證研究》。它的出發點很實際：智慧體完成任務靠的是反覆做決策，而大模型通常就是做這些決策的核心。最近出現的 Jev 聲稱能讓這些決策更快、更便宜。可是區域性的節省，能不能變成完成整件任務時的高效、可靠，還不清楚。我們站點在 10 月 10 日的新聞裡提到過 Jev：它由 TypeSafe AI 釋出，基於 Transformer 但不是大語言模型，輸出的是機率而不是文字。論文把它稱為“系統一模型”，透過型別化輸出給出按指令定義的判斷，包括對一組給定選項的機率。 先看研究設計。作者選了兩個有代表性的場景：ALFWorld 裡的家居具身任務，用文字環境和 valid_unseen 劃分裡的全部 134 個任務；AndroidWorld 裡的手機應用使用，用文字化的介面觀察，對 116 種任務型別各取一個固定例項。五個智慧體家族裡，ALFWorld 有 ReAct 和 Reflexion，AndroidWorld 有 T3A、AutoDroid 和 Droidrun 的 FastAgent。每個家族都把“動作選擇”這一步換成一次 Jev 請求，保持周圍的觀察、歷史和執行機制不變，並與原配置對比；ALFWorld 還多設了一個“LLM-Choice”對照，讓大模型在同樣的候選列表裡選。每個配置在同樣任務上跑三遍，合計 4,500 次任務執行。所有大模型決策和輔助生成用 gpt-5.6-luna，Jev 決策用 jev-1.13.0。成本核算按每百萬詞元計：大模型輸入 0.20 美元、輸出 1.20 美元，Jev 輸入 0.042 美元、輸出為零。

再看結果，第一層是有效性，差異不均勻。ALFWorld 上，ReAct-J 和 Reflexion-J 的成功率是 96.02% 和 98.01%，比原配置低 1.49 和 1.74 個百分點；在共享候選介面的對照下，差距縮小到 1.00 和 0.00 個百分點。AndroidWorld 上，Jev 版本比 T3A、AutoDroid 和 FastAgent 分別低 13.22、2.30 和 18.10 個百分點，兩個 AutoDroid 變體的成功率都低於 20%。任務難度也不只取決於序列長度：Jev 版本在 ALFWorld 的“檢查、放置、冷卻”任務上達到 100%，卻在“清洗”任務上落後約 8.6 和 7.5 個百分點；AndroidWorld 的 T3A 和 FastAgent 即便在預算最短的一檔也落後 12.5 和 15.3 個百分點。 第二層是成本與時間，節省比速度更容易傳導。ALFWorld 上，ReAct 與 Reflexion 的成本分別降低 50.9% 和 32.6%，時間降低 47.6% 和 37.8%。AndroidWorld 上，T3A、AutoDroid、FastAgent 的成本分別降低 17.1%、68.8% 和 43.0%，時間只降低 10.6% 和 5.7%，FastAgent 甚至增加了 0.7%，所有家族每個任務使用的詞元都更多。原因是動作選擇之外的工作吞掉了節省：基線 ReAct 的 71.17 秒裡有 68.31 秒用在選動作上，Jev 把這一項降到 17.25 秒，加上 17.23 秒的輔助推理後仍保留大幅節省；而 T3A 的輔助生成從 67.47 秒漲到 96.99 秒，佔 Jev 推理支出的 81.9%；FastAgent 做出的決策多了 44.1%，一步一個工具的配置讓決策更便宜，但互動序列更長。

第三層是真正關鍵的：完成度決定節省的價值。如果只比較兩個配置都完成的任務，ALFWorld 保留 64.8% 到 66.2% 的成本降幅和 59.2% 到 60.8% 的時間縮短。但把失敗也算進去，情況會變：Reflexion-J 中只佔 2.0% 的執行，因為恢復失敗消耗了 53.3% 的推理支出。按每次成功交付的成本算，四個家族下降，T3A 卻上升 7.7%，從 68.70 毫美元漲到 73.97 毫美元，這個上升的 95% 區間跨過零；也就是說，在觀察到的均值上，較低的完成率抵消了 T3A 每次嘗試 17.1% 的成本節省。FastAgent 的任務時間幾乎不變而完成率更低，使每次成功交付的時間從 239.4 秒漲到 377.8 秒。 第四層是失敗軌跡。作者對 43 對任務、258 次執行做了人工編碼，兩位作者獨立標註，平均 Cohen's kappa 為 0.867。在“Jev 持續失敗而基線持續成功”的組裡，57 次 Jev 執行有 40 次出現恢復失敗、29 次出現無效搜尋，而基線對應只有 3 次和 2 次。典型案例是：在 Wi-Fi 任務裡，Jev 選了標籤含糊的開關，卻宣佈完成，目標其實沒有達到，這個終止判斷斷送了糾錯機會；在 ALFWorld 裡，把手巾當成了布，之後的推理一直在錯誤的物件上繼續。Reflexion-J 第一次嘗試的成功率是 95.27%，高於基線的 93.53%，但它此後只恢復了 19 次初始失敗中的 11 次，基線則恢復了 26 次中的 25 次，最終成功率因此更低。

論文的討論給出了兩個方向。對模型開發，作者建議保留簡潔的數值輸出，同時增強對目標、動作前置條件和矛盾反饋的敏感度，用成功與失敗軌跡的對比來訓練，並輸出“是否有任何可用動作能推進目標”的校準置信度。對系統設計，作者建議把決策當作有可觀察輸入、結果和成本的顯式元件，候選介面應暴露目標身份、前置條件和預期狀態變化，檢查要集中在完成判斷和反覆無進展這兩個失敗變成終局的節點。作者特別強調，比較的是被評估的整合方式，候選構造、輔助生成和反饋機制都會影響結果，不同家族之間的比較還受互動預算和工作流設計差異的影響。 我們的判斷是，這篇論文的價值，是把一個常見的營銷敘事改寫成了可檢驗的問題：便宜的決策不等於便宜的結果。它給出的數字很具體，也有邊界：只有文字觀察、只有五個智慧體家族、一個固定種子。因此對工程團隊的實際建議是，在引入任何“小而快”的決策模型之前，先測它在你的工作流裡佔了多少時間，再測失敗後的恢復成本，並用“每次成功交付的成本與時間”作為驗收指標，而不是隻看每次呼叫的價格。