大型語言模型在多輪醫療對話中糾正錯誤認知的能力評估

患者在尋求醫療建議時常嵌入錯誤假設,現有評估框架未能捕捉多輪對話中錯誤認知的動態演變。為此,研究構建了ThReadMed-QQA數據集,包含2437個真實醫患對話線程和8204個問答對。基於量化的LLM-as-a-Judge框架評估五個大型語言模型,發現前沿模型在初始問題中糾正錯誤預設的準確率達85%,但兩輪跟進後驟降至約50%。Oracle分析表明該退化主要由錯誤信念傳播導致,即使上下文資訊正確時模型表現仍不完美。研究揭示模型在多輪互動中產生不一致或不安全建議的風險,呼籲建構捕捉多輪行為特徵的新型評估體系。

Sources