多轮医疗对话中LLM纠正错误认知的能力衰退：ThReadMed-QA研究揭示模型一致性风险

在在线医疗咨询日益普及的背景下，患者往往带着先入为主的错误假设或误解来寻求专业建议。传统的医疗沟通不仅要求回答表面问题，更关键的是要识别并纠正这些潜在的错误信念。随着大型语言模型（LLM）在医疗咨询场景中的应用增多，这类交互自然地演变为多轮对话模式，错误认知可能在对话过程中浮现、持续甚至恶化。然而，现有的模型评估框架大多关注单轮交互，无法有效捕捉模型在多轮语境下处理错误认知的动态能力。本研究的核心贡献在于填补了这一空白，通过引入ThReadMed-QA数据集，系统性地评估了LLM在长期对话中检测和纠正错误认知的可靠性。该数据集源于真实的AskDocs平台患者互动，旨在揭示模型在面对复杂、动态的医疗咨询时，是否具备持续保持准确性和安全性的能力，从而为构建更安全的医疗AI助手提供实证依据。为了深入探究这一问题，研究团队构建了一个包含2437个医患对话线程、共计8204个问答对的专用数据集ThReadMed-QA。这些数据源自真实的患者与医生互动，确保了场景的真实性和复杂性。

在方法论上，研究采用了一种基于量表的LLM-as-a-Judge评估框架。该框架不仅仅关注答案的正确性，而是重点评分模型在对话过程中识别错误前提、澄清误解以及提供纠正性指导的能力。研究选取了五个主流的大型语言模型进行测试，模拟真实的多轮医疗咨询场景。训练和评估策略强调对错误信念的追踪，要求模型在每一轮对话中不仅要回应当前问题，还要回顾并修正之前对话中可能遗留或新产生的错误认知。这种设计使得评估能够深入模型内部的处理逻辑，观察其在面对认知冲突时的推理路径和修正策略，从而全面衡量其多轮交互中的稳健性。实验设置在真实的医疗对话基准上进行，关键指标聚焦于模型在初始提问及后续跟进轮次中纠正错误预设的准确率。结果显示，尽管前沿模型在初始问题中表现尚可，能够以约85%的准确率纠正错误预设，但随着对话轮次的增加，其性能出现显著退化。具体而言，在经过两轮跟进后，纠正准确率大幅下降至50%左右。

为了探究这一现象的根源，研究进行了Oracle分析，即用医生的真实回复替换模型的历史输出，以排除模型自身生成错误带来的干扰。分析发现，即使在没有错误传播的理想情况下，模型的性能依然不完美，这表明模型本身在处理复杂多轮逻辑时存在固有缺陷。然而，错误传播确实是导致性能急剧下降的主要驱动因素之一。消融实验进一步揭示，模型在早期对话中建立的错误认知框架会严重干扰后续的判断，导致其在面对新信息时难以彻底纠正之前的误解。这项研究对医疗AI领域具有深远的行业意义和潜在影响。首先，它揭示了当前主流LLM在面向患者的多轮咨询中存在的安全隐患，即模型可能在初期提供看似正确的建议，但在后续交互中因错误认知的累积而导致指导不一致甚至危险。这对于依赖LLM提供健康建议的用户而言是一个重大风险信号。其次，研究结果呼吁开源社区和工业界重新审视现有的评估标准，开发能够捕捉多轮动态行为、特别是错误认知演变过程的新型评估框架。这对于推动医疗AI从"单轮问答"向"长期陪伴式咨询"演进至关重要。最后，该研究为后续模型优化提供了明确方向，即需要加强模型在长上下文中的记忆管理和逻辑一致性，以减少错误传播，确保在复杂的医疗对话中提供持续、安全且可靠的指导，从而真正提升人机协作医疗咨询的质量与安全性。