推测式不确定性：利用草稿模型门控机制优化智能体编码执行效率

在将大型语言模型智能体部署于软件工程任务时，一个日益突出的痛点是智能体往往表现出过度的自信，从而执行错误的代码或操作，而这些错误通常只有在付出高昂的计算和执行成本后才被识别。传统的解决方案往往依赖于昂贵的重复采样或访问模型内部状态，这在黑盒 API 场景中难以实现。针对这一难题，本研究提出了一种名为推测不确定性（Speculative Uncertainty, SU）的创新方法。该方法的核心理念在于仅通过智能体的输出令牌序列，即可高效地恢复出预测性的失败信号，完全摆脱了对模型逻辑概率、权重参数、激活值或重复采样过程的依赖。SU 方法不仅解决了黑盒智能体可解释性差的问题，还为下游策略提供了一个轻量级、低延迟的置信度评估工具，使得在智能体行动之前就能有效识别潜在风险，从而在保障软件工程质量的同时显著降低资源浪费。这一贡献填补了黑盒智能体不确定性量化领域的空白，为构建更鲁棒的自动化软件工程系统奠定了理论基础。在技术实现层面，SU 方法巧妙地反转了传统的推测解码（speculative decoding）流程。具体而言，系统利用一个小型的开源权重草稿模型（draft model），对智能体已经生成的完整轨迹进行单次前向传播（single forward pass）评分。

这种设计极大地降低了计算开销，避免了传统方法中多次推理带来的延迟。草稿模型通过计算推测交叉似然（speculative cross-likelihoods）来评估智能体输出序列的概率分布。更为关键的是，SU 并未简单地将这些似然值作为最终分数，而是进一步提取了感知阶段特征（phase-aware features）。它智能地将智能体的输出序列分离为推理阶段（reasoning spans）和行动阶段（action spans），分别进行特征提取。随后，这些特征会与一个可验证的目标（verifiable objective）进行校准，从而生成一个经过精细调整的失败可能性评分。这种机制确保了评分不仅反映了文本生成的流畅度，更准确映射了代码执行的正确性，使得该评分能够被任何下游策略直接消费，无论是用于自动路由、触发人工干预，还是分配额外的测试时计算资源。为了验证 SU 方法的有效性和实用性，研究团队在多个基准测试和实际部署场景中进行了详尽的实验。他们实例化了一个具体的下游策略——预执行否决门控（pre-execution veto gate），并将其应用于两个极具代表性的智能体模型：开源的 Qwen3-Coder-480B 和闭源的 Claude 3.5 Sonnet。

实验结果显示，引入 SU 门控机制后，智能体在部署环境中的执行错误率显著下降了 6 到 8 个百分点，同时由于避免了无效的代码执行和重试，令牌消耗成本降低了 14% 到 19%。这一结果不仅证明了 SU 信号的可操作性，还展示了其在实际工业场景中的巨大经济价值。此外，消融实验进一步揭示了不同特征提取策略对最终评分准确性的影响，证实了分离推理与行动阶段特征的重要性。更令人印象深刻的是，SU 方法展现出了极强的泛化能力，它在分布外（out-of-distribution）的基准测试中无需任何重新训练即可保持高性能，并且能够跨不同的智能体模型通用，证明了其作为通用不确定性评估工具的强大潜力。从行业意义来看，SU 方法的提出对开源社区和工业落地具有深远影响。对于开源社区而言，该方法仅需一个小型草稿模型即可增强大型黑盒智能体的可靠性，降低了开发者构建高可靠性智能体系统的门槛。在工业落地方面，通过预执行门控机制，企业可以在不改变现有智能体架构的前提下，显著提升自动化软件工程工具的稳定性和成本效益。这对于需要高可靠性的金融、医疗等关键领域尤为重要。此外，SU 方法为后续研究开辟了新方向，例如如何将更复杂的因果推理机制融入不确定性量化，或者如何结合强化学习进一步优化门控策略。随着智能体在软件开发中扮演越来越核心的角色，此类轻量级、高准确性的不确定性评估方法将成为构建下一代自主智能体系统的关键基础设施，推动软件工程向更智能、更安全的方向演进。