Operadic Consistency：無標籤信號揭示大型語言模型組合推理失敗

本文提出了一種名為「Operadic Consistency (OC)」的新型推論一致性信號，旨在無需真實標籤的情況下檢測大型語言模型在組合推論任務中的失敗。OC基於Operad代數理論，要求模型對組合查詢的直接回答與透過分解推論步驟後重組所得的回答保持一致。在涵蓋12個參數規模從4B到671B的指令微調LLM及四個多跳問答數據集上的實驗中，OC與模型準確率呈現極強相關性（Pearson相關係數r介於0.86至0.94之間），且是唯一在所有數據集上均保持高相關性的信號。相較於Chain-of-thought自我一致性（CoT-SC），OC在MuSiQue和StrategyQA等複雜數據集上表現更穩定，並在逐題層面提供了超越CoT-SC和語義熵的額外判別資訊。在選擇性預測任務中，OC在同等計算預算下顯著提升了準確率，證明了其作為推論置信度評估工具的顯著潛力。