Operadic Consistency：无标签信号揭示大模型组合推理失败

在大语言模型的实际应用中，如何在推理阶段准确识别模型的错误，而不依赖昂贵的真实标签（ground-truth labels），是一个长期存在的挑战。现有的置信度基线方法，如自一致性（self-consistency）、语义熵（semantic entropy）以及P(True)，主要依赖于问题内部的采样和模型自我评估机制。然而，这些方法在处理复杂的组合推理任务时往往显得力不从心。本研究引入了Operad理论，这是一种用于描述通过迭代替换构建系统的形式化方法，并据此提出了一种互补的诊断信号：模型对组合查询的直接回答，应当与其通过陈述的分解步骤重新组合后得到的答案保持一致。这一概念被实例化为"Operadic Consistency (OC)"，作为一种针对每个问题的独立信号，旨在捕捉模型在组合逻辑上的内在一致性，从而更精准地定位推理失败点。

这种基于结构一致性的诊断方法，为理解模型内部推理过程提供了全新的视角，弥补了传统基于概率分布或采样变异性的评估方法的不足。从技术方法的角度来看，OC的核心在于构建一个双重验证机制。首先，模型直接回答一个组合查询；其次，模型被要求将该查询分解为子问题，分别回答后再将这些子答案组合起来，形成最终答案。OC信号即衡量这两条路径所得结果的一致性。该方法不依赖于模型输出的概率分布形态，而是关注逻辑结构的闭合性。

在实验设计中，研究者对十二个不同规模的指令微调LLM进行了测试，参数规模跨度极大，从4B到671B，涵盖了开源权重模型和闭源商业模型。这种广泛的模型覆盖确保了OC信号的普适性，排除了特定架构或规模带来的偏差。训练策略上，OC作为一种推理时的后处理信号，无需对模型进行额外的微调或训练，直接利用模型自身的推理能力生成两条路径的答案并进行比对。这种即插即用的特性使得OC能够迅速应用于现有的各种LLM系统中，为开发者提供了一种轻量级且高效的推理质量监控工具。通过对比直接回答与分解重组回答的一致性，OC能够敏锐地捕捉到模型在逻辑链条断裂或信息整合错误时的细微表现，从而提供更细粒度的置信度评估。

在实验设置与关键结果方面，研究团队在四个主流的多跳问答数据集上对OC进行了全面评估。结果显示，OC与模型准确率之间存在极强的相关性，Pearson相关系数r值分布在0.86到0.94之间，且所有p值均小于0.0004，表明这种相关性在统计上高度显著。尤为重要的是，OC是所评估的所有信号中，唯一在四个数据集上均保持r大于0.85的信号，展现了其跨数据集的稳健性。相比之下，Chain-of-thought self-consistency (CoT-SC)虽然在HotpotQA和DROP数据集上表现良好（r分别为0.93和0.87），但在MuSiQue和StrategyQA数据集上相关性骤降至约0.45，显示出其在处理更复杂或不同分布数据时的局限性。进一步的消融实验表明，在每道题的层面，OC在控制CoT-SC和语义熵后，依然提供了显著的额外信息（cluster-robust p值小于等于10^-16），且这一结论在控制其他构建的分解感知基线后依然稳健（p值小于等于10^-13）。

在选择性预测任务中，即在固定覆盖率下追求最高准确率，OC在同等计算预算（K=3）下，相比调优后的CoT-SC基线，实现了AUARC提升0.086至0.096，AUROC提升0.092至0.164，且95%置信区间均不包含零，证明了其在提升系统可靠性方面的实际价值。从行业意义与潜在影响来看，OC的提出为大模型推理可信度评估开辟了新路径。它不依赖于模型内部概率的绝对数值，而是通过逻辑结构的一致性来间接推断正确性，这种方法对模型幻觉和逻辑错误具有更强的鲁棒性。对于开源社区而言，OC提供了一种无需重新训练即可增强现有模型可靠性的工具，降低了部署高可靠性AI系统的门槛。在工业落地方面，特别是在医疗、法律等高风险领域，能够实时、低成本地识别推理失败至关重要，OC的这一特性使其成为理想的选择性预测工具。此外，研究者在五个前沿思维模型上进行的测试显示，即使分解步骤是从模型自身的Chain of Thought中提取的，OC依然能在所有测试单元格中提供正向的选择性预测提升，这进一步证实了其在处理复杂推理任务时的通用性和有效性。这一发现不仅推动了LLM可解释性研究的发展，也为后续构建更智能、更可靠的自主代理系统奠定了理论基础，预示着基于结构一致性的置信度评估将成为未来大模型评估的重要方向。