對抗部分可觀測馬可夫決策過程中複合LLM智能體設計：成本與性能的權衡分析

在复杂且充满对抗性的网络防御场景中，如何高效部署复合大语言模型智能体是一个极具挑战性的工程与理论问题。传统的智能体设计往往盲目堆叠功能模块，导致推理成本飙升而性能提升有限。本研究旨在解决这一核心痛点，通过在一个名为CybORG CAGE-2的网络防御环境中进行系统性实验，该环境被精确建模为部分可观测马尔可夫决策过程（POMDP）。由于该环境中的奖励机制设定为非正数，智能体的主要目标并非最大化收益，而是尽可能减少损失，即处于一种"失败缓解"模式。研究的核心贡献在于提供了一套基于数据的指导原则，帮助实践者区分哪些设计选择真正提升了性能，哪些仅仅是增加了无谓的推理开销。通过控制变量法，研究深入探讨了智能体感知环境的方式、内部推理逻辑以及任务分解结构这三个关键维度，揭示了在资源受限且信息不完全的对抗环境下，智能体架构设计的最佳实践路径，为后续相关研究提供了宝贵的基准和理论依据。在技术方法层面，研究构建了一个多维度的实验框架，详细考察了三种主要设计变量的交互影响。首先是上下文表示，对比了直接使用原始观测数据与引入一个确定性状态跟踪层，后者通过压缩历史观测信息来提供程序化的状态抽象。其次是推理机制，引入了自我质疑、自我批评和自我改进等高级工具，并评估了是否结合思维链（Chain-of-Thought）提示对推理深度的影响。

最后是层级分解策略，对比了单体ReAct架构与将任务委派给专业化子智能体的层级架构。实验涵盖了五种不同的模型家族和六个具体模型，共进行了12种配置组合，累计运行了3,475个回合。为了精确衡量效率，研究采用了token级别的成本核算机制，确保每一分计算资源都被量化评估。这种细致的技术拆解使得研究能够剥离出各个组件对最终性能的独立贡献，从而识别出哪些模块是必要的，哪些是冗余的。实验结果揭示了几个反直觉且极具价值的关键发现。首先，程序化状态抽象展现了极高的成本效益，每token回报（RPTS）最高，相比直接使用原始观测，它能使平均回报提升高达76%。这表明在部分可观测环境中，通过代码或确定性的逻辑层来辅助LLM理解状态，比单纯依赖模型自身的记忆能力更为有效。其次，研究发现了一个被称为"推理级联"的破坏性现象：当在层级结构中分布推理工具时，性能不仅没有提升，反而比仅使用层级结构下降了多达3.4倍，同时token消耗增加了1.8到2.7倍。这一结果在所有测试的模型家族中均一致出现，说明过度的内部反思机制在层级架构中会产生干扰。

相反，不进行额外推理工具的层级分解架构，在大多数模型中实现了最佳的绝对性能。消融实验进一步证实，上下文工程（即如何呈现信息）通常比推理工程（即如何思考信息）更具成本效益。这些发现对开源社区、工业落地及后续研究具有深远的意义。对于工业界而言，研究结果强烈建议在设计面向对抗性环境的智能体时，应优先投资于程序化基础设施和清晰的任务分解，而非盲目追求更复杂的单智能体推理能力。这种设计原则可以显著降低部署成本，提高系统的稳定性和可解释性。对于开源社区，本研究提供的基准数据和配置方案为后续的智能体架构优化提供了可靠的参照系。此外，研究指出的"推理级联"现象提醒研究者，在组合多种高级LLM特性时需格外谨慎，简单的叠加并不总能带来线性或正向的性能增益。未来的研究可以进一步探索如何优化状态抽象层，或在特定条件下避免推理工具的负面干扰，从而在保持低成本的同时，最大化智能体在复杂动态环境中的适应能力。这一工作为构建高效、鲁棒的复合LLM智能体奠定了重要的理论与实践基础。