對抗部分可觀測馬可夫決策過程中複合LLM智能體設計：成本與性能的權衡分析

本文針對在對抗性、部分可觀測的序貫環境中部署複合大語言模型（LLM）智能體所面臨的設計維度挑戰，進行了一項受控的成本-性能研究。研究聚焦於CybORG CAGE-2網路防禦環境，該環境被建模為部分可觀測馬可夫決策過程（POMDP），且獎勵非正數，意味著所有配置均處於緩解失敗模式。評估涵蓋五種模型家族、六個模型及十二種配置，共計3,475個回合，並進行了細粒度的token級成本核算。研究系統性地變化了上下文表示（原始觀測與確定性狀態追蹤層）、推理機制（自我質疑、自我批評及自我改進工具）以及層級分解策略（單體ReAct與委派給專用子智能體）。核心發現表明：程式化狀態抽象在每token回報上具有最高收益，相比原始觀測可將平均回報提升高達76%；然而，在層級結構中分佈推理工具會導致性能顯著下降，出現被稱為"推理級聯"的破壞性模式，使平均回報惡化達3.4倍且token消耗增加1.8至2.7倍。層級分解而不結合推理機制實現了最佳絕對性能，表明在結構化對抗POMDP中，投資於程式化基礎設施和清晰的任務分解比深入的單智能體推理更具成本效益，且兩者結合可能產生干擾。