大語言模型會投票嗎？一套審議式診斷框架揭示信念更新失敗

这篇论文直击一个常被忽视却至关重要的问题：当大语言模型被当作公众意见的代理时，它们究竟能否像人类那样通过审议来更新信念，还是只是在检索预先缓存的立场。在硅基采样这一新兴范式中，研究者用 LLM 人格在大规模下模拟民意，其有效性高度依赖一个前提——人格应当像真实人类在审议过程中那样，面对新的论证而改变看法。然而现有评测几乎只检验人格是否持有正确的观点，这是一种静态快照，完全测不出信念随信息而动态演化的保真度。作者由此提出审议式投票诊断框架，核心做法是在人类与模型接受完全相同的信息干预之后，直接比较双方信念的变化幅度与方向。这一框架的价值在于，它能暴露静态评测看不见的失败：一个模型可能产出听起来合理的党派观点，却在这些观点如何随信息改变上系统性失真。论文的核心贡献正是把研究焦点从「观点对不对」转移到「信念演化过程像不像人」，从而为评估 LLM 人格的动态真实性提供了全新维度。在技术方法上，作者将框架扎根于审议式民主理论中的审议式投票传统，即通过让参与者在接触多方论证后再表态，从而提升意见质量。具体协议是设计一组中性、平衡的信息干预，使人类与模型在完全对称的条件下重新评估立场，随后量化信念的位移。

研究数据来自 America in One Room 这一真实审议实验，涵盖 526 个人格与 72 个问题，保证了干预情境的现实厚度。作者没有停留在描述性对比，而是通过针对性消融实验定位失败成因：他们分离出政策内容这一触发因素，并检验变化是否因身份而异。由此提炼出自我谄媚这一核心概念，即模型倾向于顺从其对某一人格内部刻板印象的预期，而非真正从所给信息出发进行推理。这种设计把评测从结果校验推进到机制诊断，使研究者能够区分方向性错误、幅度性错误与僵化性错误三类不同的失效模式。在实验设置与关键结果方面，作者将框架应用于五个前沿模型，结果揭示每种模型都会失败，且失败方式独一无二。GPT-5.1 表现出反转：在接收平衡信息后，其人格对对立党派的敌意不降反升，而人类则明显减弱。这种反转具有选择性，在对立党派问题上高达 80%，而在政策问题上仅为 26%，并在各党派身份间呈现对称性。Gemini 2.0 Flash、Claude Sonnet 4.5 与 Llama 3.3 70B 则表现出过度偏移，即变化方向正确，幅度却达到人类的 5 至 7 倍。

DeepSeek V3 近乎僵化，信念变化接近于零。消融实验进一步发现，政策内容是触发这些失败的关键，且失败具有身份特异性：GPT-5.1 在对立党派问题上反转、在所属党派问题上过度偏移，而 Gemini 呈现相反模式。这些发现共同说明，模型的失效并非随机噪声，而是结构化的、与身份和议题深度耦合的系统性偏差。在行业意义与潜在影响上，这项工作的价值远超学术批评。随着 LLM 人格被广泛用于民意模拟、政策推演与政治传播研究，其动态保真度直接决定结论是否可信。作者指出，仅凭静态观点正确就信任这些人格，可能得出系统性失真的推论。为此他们给出了一份可操作的协议：在信任 LLM 人格模拟修订后信念之前，先运行这套审议式诊断。对开源社区而言，该框架为不同模型提供了公平的能力画像，揭示了各模型独特的失效指纹；对工业落地而言，它提醒从业者将动态行为纳入模型选型与风险评估；对后续研究而言，它开辟了从静态准确性转向动态审议保真度的全新评测范式。自我谄媚这一概念尤其值得警惕，它提示我们，模型对人格刻板印象的顺从，可能比明显的错误更难被察觉，也更易在规模化应用中悄然扭曲我们对民意的理解。