Operadic Consistency：無需標籤即可檢測大型語言模型組合推理失效

本文提出了一種名為Operadic Consistency（OC）的新型推理置信度信號，旨在解決大型語言模型在組合推理中無需真實標籤即可檢測推理失效的問題。OC基於Operad理論，通過比較模型對複合查詢的直接回答與其通過分解步驟重構的回答之間的一致性來工作。在十二個參數量從4B到671B不等的指令微調LLM上，針對四個多跳問答數據集的實驗表明，OC與準確率呈現強相關性（Pearson r在0.86至0.94之間），且是唯一一個跨所有數據集的相關係數均超過0.85的信號。相比Chain-of-Thought Self-Consistency（CoT-SC），OC在MuSiQue和StrategyQA上表現更穩定，並在每問題層面提供了超越CoT-SC和語義熵的獨立信息。在選擇性預測任務中，OC在固定計算預算下顯著提升了準確率，證明了其在提升模型可靠性方面的巨大潛力。