AI Consilium：用多学科会诊流程检验大模型能否给出可靠的第二意见

大语言模型已经能为疑难病例列出鉴别诊断，但一份真正有用的"第二意见"远不止给出诊断名称。它还必须有事实依据，临床逻辑自洽，能够指导下一步处置，并且足够安全。现有评测大多只盯着诊断是否答对，很难回答这些更接近临床实际的问题。这篇论文提出了 AI Consilium，一个面向多学科会诊式第二意见的多维度基准。作者用 300 个已经明确最终诊断的 NEJM-MedQA 病例搭建评测：其中 110 个用于获取医生的参考评分并校准 Judge，另外 190 个作为留出集用于正式评估。论文想在同一批病例上同时回答几个问题：不同模型的能力差异有多大，多学科综合是否真的比单一专科意见更好，结构化临床推理的要求是否有帮助，会诊过程中的讨论动态如何，以及各模型对推理资源的需求有多高。把这些问题放进同一套公共病例评测里比较，是这项工作的核心贡献。在方法上，作者构建了八条单模型流水线。每条流水线让同一个模型分别扮演不同的专科角色，先各自独立给出角色化的意见，再进入交互式的 consilium（会诊）环节，由各角色相互审阅、多轮讨论，直到形成共识并输出最终报告。由于所有角色都由同一模型承担，模型之间的差异可以被干净地隔离出来。

每条流水线在两种条件下运行：自由格式，以及结构化临床推理。结构化条件要求模型按固定的临床推理框架组织输出，自由格式则不加约束。评分由一个经过医生校准的 LLM Judge 完成：先用 110 个病例上的医生参考评分去校准它，使其打分与医生判断对齐，再用它评估留出的 190 个病例。评分维度覆盖事实依据、推理连贯性、问题优先级排序、处置管理（management）等，既评最终报告，也评结构化条件下会诊之前的主要角色（primary-role）输出，这样就能把"多学科综合带来的增益"单独分离出来。最终 Judge 一共评估了 3,040 份最终报告，以及与之对应的结构化主角色输出。结果显示，模型身份对报告质量的区分力强于回答格式。也就是说，换一个模型带来的差距，比从自由格式切到结构化格式带来的差距更大。不过格式并非无关紧要：在八条流水线中，有七条的结构化最终报告总体平均分更高，优势最清楚的是处置管理维度，结构化为 2.740，自由格式为 2.436。这说明结构化推理的作用是分项显现的，主要体现在"下一步怎么办"这类可执行内容上，而不是整体上均匀抬升。再看会诊本身的价值：把完整的结构化综合报告与会诊前的结构化主角色意见相比，五个共有标准上的汇总得分全部更高，其中提升最大的是问题优先级排序、事实依据和推理连贯性。

这直接支持了一个判断：多学科综合不是形式主义，它确实在修正单一视角的排序偏差和事实疏漏。在模型层面，GPT-5.6-Sol 在每一个被评估的组件上都排第一，并且达成共识所需的审阅轮数最少。摘要没有给出更细的消融数字，更多细节需要查阅原文。这项工作的意义首先在于评测思路。把第二意见拆成事实依据、连贯性、可执行性和安全性等维度，并用医生校准过的 Judge 规模化打分，比只看诊断准确率更贴近临床使用场景。其次，它给出了一个很实用的结论：想提升多专科协作系统的质量，选对底座模型的收益往往大于调整输出格式，而结构化要求更适合用在需要给出处置建议的环节。第三，会诊前后的对比为多智能体协作提供了证据，说明让多个角色相互审阅确实能改善优先级排序与事实把握，而不是单纯多花算力。共识所需轮数也提示，部署时讨论轮数和推理成本应当作为工程变量一并衡量。当然需要保持克制：基准基于已确诊的 NEJM-MedQA 病例，评分依赖 LLM Judge，尽管它经过医生校准，也不能等同于真实临床环境中的前瞻性验证。对后续研究者而言，这个基准提供了在同一批病例上横向比较模型、格式与协作机制的共同标尺，对医疗 AI 的开发与评估都有参考价值。