事後辯論評判理論：為辯論式 AI 尋找有據可依的裁判
本文針對智能體辯論中普遍存在的事後評判（post-hoc judgement）問題，提出並檢驗了一套通用的辯論評判理論。隨著 LLM 驅動的智能體在內部或與其他智能體展開辯論，其辯論結果與輸出往往由外部裁判（通常是 LLM）事後決定。論文首先歸納出辯論評判應滿足的一系列形式化性質，涵蓋可復現性、魯棒性、groundedness（依據 grounded）與可解釋性；隨後針對聲明驗證（claim verification）場景，對兩種替代方法——「以 LLM 作為裁判」的變體，以及源自計算論證學（computational argumentation）的形式語義——進行了形式化與實驗相結合的檢驗。實驗表明，兩種方法在準確率上表現相近，但前者缺乏後所提供的形式化保證。研究最終主張，計算論證學的形式語義是辯論式 AI 中 principled 裁判的理想候選。
这篇论文聚焦于一个日益重要的工程与研究问题：当智能体展开辩论时，谁、以何种方式来判定辩论的结果。随着 LLM 赋能的智能体被广泛用于内部自我辩论或与其他智能体外部辩论，辩论本身成为提升性能、增强可解释性并提升用户参与度的有效手段。然而，在许多实际场景中，辩论的最终结果与由此产生的输出，并非由辩论过程自然决定，而是由外部裁判在事后（post-hoc）裁定，而这些裁判往往是 LLM。正是这一普遍存在却常被忽视的环节，构成了本文的核心研究问题。论文的主要贡献在于，它没有停留在经验性地比较哪种裁判更好，而是系统地发展了一套适用于各类辩论场景的通用评判理论：只要智能体在辩论中为自己的观点陈述利弊，这套理论就适用。它首先形式化地刻画了辩论评判应当满足的若干普遍性质，进而对候选方法进行检验，从而把「如何评判辩论」从一个工程直觉提升为一个可分析、可论证的科学问题。 在技术方法上，论文的思路是先立标准、再验方法。作者从四个维度提炼出辩论评判应满足的形式化性质：可复现性（reproducibility）要求同样的辩论在同样裁判下得到稳定一致的结果；鲁棒性（robustness）要求裁判对辩论中的扰动或表述变化保持稳健；groundedness 要求评判结论必须扎根于辩论中实际出现的论据，而非裁判凭空引入的外部信息；可解释性（explainability）则要求裁判能够给出令人信服的判定理由。随后，论文针对声明验证（claim verification）这一具体场景，对两类替代性评判方法展开检验。第一类是「以 LLM 作为裁判」（LLM-as-a-judge）的若干变体，即直接让大模型阅读双方论据后给出裁决；第二类则源自计算论证学（computational argumentation），借用其中形式化的论证语义（argumentation semantics）来裁决。后者的关键特征在于，其判定由一套严格的形式语义规则推导而来，因而具备可证明的形式化性质。论文对这两种方法是否满足前述各项性质，分别进行了形式化分析与实验验证相结合的检查，从而在理论严谨性与实证支持之间建立桥梁。 在实验设置与关键结果方面，论文选取声明验证作为评测场景，对两类评判方法进行了对比。核心发现是：两种方法在准确率这一性能指标上表现相近，说明从「判得准不准」的角度看，基于形式语义的裁判并不逊色于直接让 LLM 裁决。但更重要的差异体现在质量保障上：以 LLM 作为裁判的方法虽然实用且灵活，却缺乏对前述形式化性质（尤其是 groundedness 与可复现性、可解释性）的形式化保证；而源自计算论证学的形式语义则能够带来这些保证。这一消融式对比揭示了一个关键张力：经验性能相近的情况下，形式化保证的有无成为区分两类方法的关键。论文由此指出，正是这些形式化性质使得辩论评判结果更加可信、可审计、可解释，而这对于辩论式 AI 系统的落地尤为珍贵。需要说明的是，摘要并未给出具体数值指标，因此本文不编造精确的准确率数字，仅忠实呈现两类方法「性能相近、保证不同」这一核心结论。 在行业意义与潜在影响上，这项研究的价值在于为辩论式 AI 提供了一套可遵循的裁判设计原则。随着智能体系统从单一模型走向多智能体协作与自我辩论，如何公正、稳健、可解释地裁决辩论结果，将成为系统可靠性的关键环节。论文主张计算论证学的形式语义是「有原则的裁判」（principled judges）的理想候选，这一判断对开源社区与工业落地都具有启示意义：形式语义带来的可证明性质，使得裁判过程更易于审计、调试与合规，尤其适用于对可信度要求较高的场景。同时，论文所提出的通用评判性质框架，也为后续研究提供了评估不同裁判方法的标准坐标系，推动该领域从经验试错走向理论指导。对关注 LLM 可解释性、智能体辩论与 AI 治理的研究者而言，这项工作为「如何为 AI 辩论找到可信裁判」这一开放问题，提供了兼具理论深度与实践价值的回答。