PACE-Bench 揭示自进化智能体在物理环境突变下的适应瓶颈

当前自进化智能体研究主要关注智能体如何从交互经验中改进未来行为，但现有评估体系通常局限于固定的执行条件，未能有效测试当环境条件发生突变后智能体的恢复与适应能力。这一缺口导致我们难以判断智能体是否真正具备应对动态变化的鲁棒性。为填补这一空白，论文引入了 PACE-Bench（Physics Adaptation via Code Evolution），这是一个基于模拟器（simulator-grounded）的基准测试。该基准精心构建了 144 个从源环境到目标环境的适应对，涵盖六个不同的物理领域。每个适应对都链接了一个源环境和一个经过突变的目标环境，两者保持相同的目标和接口。这种设计确保了任务的一致性，同时引入了环境参数的变化，迫使智能体不能简单复用源环境的成功策略，而必须进行实质性的适应。核心挑战在于，一个在源环境中成功的代码驱动设计，在目标环境中往往会失败，智能体必须在有限的尝试预算内，利用诊断沙箱提供的反馈，迭代地将代码修改为在目标环境中可行的设计。这一设定更贴近真实世界中环境动态变化的场景，对智能体的自适应能力提出了更高要求。 在技术方法层面，PACE-Bench 采用了代码驱动的设计范式，强调通过代码修改来实现适应，而非仅仅调整参数。智能体需要与诊断沙箱进行交互，获取关于设计失败原因的反馈，并据此迭代优化代码。这种机制要求智能体具备从错误中学习和推理的能力，而不仅仅是记忆或模仿。研究对比了来自四种不同范式的十种自进化方法，涵盖了从简单的自我反思到复杂的树搜索等多种策略。这些方法包括 Reflexion、基于记忆的方法以及广泛的树搜索等。每种方法在适应过程中的表现差异显著，揭示了不同范式在处理动态环境变化时的优劣。例如，Reflexion 方法依赖于智能体对过去失败的反思，而树搜索方法则通过探索多种可能的代码修改路径来寻找解决方案。这种多样化的方法对比不仅丰富了基准测试的维度，也为理解自进化智能体的工作机制提供了重要参考。通过限制尝试预算，基准测试进一步模拟了现实世界中资源受限的场景，迫使智能体在有限时间内做出高效决策。 实验设置与关键结果显示，PACE-Bench 目前远未饱和，表明该领域仍有巨大的提升空间。具体而言，Reflexion 结合 Qwen3-14B 模型在完整基准测试中仅成功解决了 35.9% 的适应对，而 GPT-5.5 在静力学（Statics）子集下，在完整预算内解决了 66.7% 的任务。这些数据表明，即使是最先进的模型，在面对动态环境变化时仍存在显著的挑战。消融实验进一步揭示了不同机制对性能的影响：基于模拟器的反思比未经验证的自我修正更可靠，因为前者提供了具体的反馈信息，帮助智能体准确定位问题。相比之下，记忆机制往往使智能体固守早期的设计，导致在环境变化后难以跳出局部最优。而广泛的树搜索虽然能够探索更多的可能性，但往往缺乏收敛性，导致在有限预算内无法找到最优解。此外，一个关键发现是，即使向智能体揭示确切的物理变化，其性能上限也未显著提升。这一结果指向了一个深层问题：机制的重新设计，而非简单的参数推断，是智能体适应动态环境的核心瓶颈。这意味着智能体需要具备更高层次的抽象和重构能力，而不仅仅是调整现有参数。 PACE-Bench 的提出对开源社区和工业落地具有深远意义。首先，它提供了一个标准化的评估平台，使研究者能够公平比较不同自进化方法在动态环境下的表现，推动该领域的进步。其次，基准测试揭示的瓶颈——机制重新设计而非参数推断——为后续研究指明了方向。未来的研究可能需要探索更高级的抽象机制，如模块化设计、动态架构调整等，以增强智能体的适应能力。在工业应用中，这一基准测试有助于评估智能体在真实动态环境（如机器人控制、自动驾驶等）中的鲁棒性，为实际部署提供可靠依据。此外，PACE-Bench 的数据和代码已公开，促进了开源社区的合作与创新。通过持续改进和扩展基准测试，研究者可以更深入地理解自进化智能体的局限性，并开发出更强大、更灵活的适应机制。这不仅有助于提升人工智能的通用性，也为构建能够应对复杂动态世界的智能系统奠定了基础。