從起點即註定失敗:透過召回控制的探針級聯實現大模型智能體早期終止

本文針對大語言模型智能體在多步任務中常陷入註定失敗軌跡卻持續消耗算力的問題,提出了一種基於內部表示的早期終止機制。研究證明,智能體的失敗在早期互動中即可透過隱藏層激活狀態被預測,其預測能力遠超僅基於可觀測行為的評分器。為此,作者設計了一種輕量級的每輪探針級聯結構,透過聯合搜尋每輪召回預算,確保成功 episode 在使用者指定的全局召回率下存活。在 TextCraft 基準上的實驗表明,該方法在 90% 召回目標下,分別節省了 Qwen-2.5-7B 和 Llama-3.2-3B 模型 47.1% 和 37.2% 的推理算力,效果優於單一閘控策略。此外,研究還揭示了隱藏狀態蘊含的資訊量,並提供了高召回目標下的樣本複雜度分析,為工業部署提供了理論保障。

Sources