開放世界智能體的泛化困境:靜態訓練的脆弱性與擾動增強微調

大型語言模型智能體在靜態基準測試中表現優異,但在面對現實世界中動態變化的使用者查詢、工具集及互動模式時,泛化能力存在顯著缺陷。本文形式化提出了OpenAgent問題設定,旨在解決跨越查詢、動作、觀察和領域維度的分佈偏移問題。研究團隊建構了一個包含感知、互動、推理和內化四個層級的受控沙盒環境,系統性地診斷了環境變化對智能體的影響。實驗表明,無論是監督微調還是強化學習,智能體在面對開放環境變化時均會出不同程度的性能衰退。基於此,本文提出了一種名為擾動增強微調(PAFT)的方法,通過引入干擾干預策略提升智能體的魯棒性。該研究揭示了靜態訓練的侷限性,為建構適應真實複雜環境的智能體提供了新的技術路徑和理論依據。

Sources