AI Consilium: LLM 다학제 협진식 세컨드 오피니언 벤치마크

배경

대규모 언어 모델은 어려운 증례에 감별 진단을 나열할 수 있습니다. 그러나 쓸모 있는 세컨드 오피니언은 진단명만으로 끝나지 않습니다. 사실 근거가 있어야 하고, 임상 논리가 일관되어야 하며, 다음 처치를 안내할 수 있어야 하고, 안전해야 합니다. 기존 평가는 대부분 최종 진단을 맞혔는지만 확인합니다.

AI Consilium은 이 간극을 겨냥한 벤치마크입니다. 여러 전문의가 환자를 검토하고 계획에 합의하는 다학제 협진을 모사합니다. 진단이 확정된 NEJM-MedQA 증례 300건을 사용하고, 110건은 의사 기준 채점과 Judge 보정에, 190건은 보류 평가에 배정했습니다.

저자들은 같은 증례 위에서 여러 질문을 함께 던집니다. 모델 간 역량 차이는 얼마나 큰지, 다학제 종합이 단일 전문과 의견보다 나은지, 구조화된 임상 추론이 도움이 되는지, 협진 중 토론은 어떻게 흘러가는지, 모델마다 추론 자원이 얼마나 필요한지입니다. 이를 하나의 공개 증례 세트에 담은 것이 핵심 기여입니다.

심층 분석

설계는 8개의 단일 모델 파이프라인으로 이루어집니다. 각 파이프라인에서는 한 모델이 모든 전문과 역할을 맡습니다. 역할마다 먼저 독립적으로 의견을 쓰고, 이어서 대화형 협진 단계에서 서로의 의견을 여러 라운드에 걸쳐 검토해 합의에 이르면 최종 보고서를 냅니다. 한 모델이 모든 역할을 맡으므로 결과 차이를 모델 자체의 차이로 깔끔하게 분리할 수 있습니다. 각 파이프라인은 자유 형식과 구조화된 임상 추론, 두 조건에서 실행됩니다. 채점은 의사가 보정한 LLM Judge가 맡습니다. 먼저 110건의 의사 기준 채점으로 Judge를 맞추고, 그다음 보류된 190건을 평가했습니다. 평가 항목에는 사실 근거, 추론 일관성, 문제 우선순위 설정, 관리·처치가 포함됩니다. Judge는 최종 보고서 3,040건을 평가했고, 구조화 조건에서는 협진 전 주 역할 의견도 함께 채점해 다학제 종합의 이득을 따로 분리했습니다.

그렇다면 세컨드 오피니언의 품질은 모델과 응답 형식 중 무엇이 더 좌우할까요? AI Consilium 결과에서는 응답 형식보다 모델 자체가 품질 차이를 더 크게 갈랐습니다. 형식이 무의미한 것은 아닙니다. 구조화 보고서는 8개 중 7개 파이프라인에서 전체 점수가 높았고, 관리·처치 항목에서 격차가 가장 컸습니다(2.740 대 2.436). 구조화의 효과는 모든 항목에 고르게 퍼지지 않고 다음에 무엇을 할지에 집중됩니다. 협진 단계의 가치도 확인되었습니다. 구조화된 종합 보고서는 공통 기준 5개 모두에서 협진 전 주 역할 의견보다 우수했고, 개선 폭은 문제 우선순위 설정, 사실 근거, 추론 일관성에서 컸습니다. GPT-5.6-Sol은 모든 구성 요소에서 앞섰고 합의에 필요한 검토 라운드도 가장 적었습니다. 초록에는 더 세부적인 제거 실험 수치가 없어 상세 내용은 원문을 확인해야 합니다.

산업 영향

의료 AI를 만드는 팀에게 첫 번째 교훈은 평가 방식입니다. 세컨드 오피니언을 사실 근거, 일관성, 실행 가능성, 안전성으로 나누어 보는 것은 진단 정확도 하나만 보는 것보다 임상 현장에 가깝습니다. 의사 평가로 보정한 Judge를 쓰면 이런 검토를 대규모로 반복할 수 있습니다. 개발자는 같은 190건의 보류 증례에서 모델, 출력 형식, 협업 방식을 나란히 비교할 수 있습니다.

두 번째는 실용적인 결론입니다. 다전문과 협업 시스템의 품질을 높이려면 출력 형식을 바꾸는 것보다 기반 모델을 잘 고르는 편이 대체로 더 큰 효과를 냅니다. 다만 처치 권고를 내는 단계에서는 2.740 대 2.436의 격차가 보여 주듯 구조화 요구를 두는 것이 유리합니다.

세 번째는 멀티에이전트 설계입니다. 협진 전후 비교는 역할 간 상호 검토가 우선순위 설정과 사실 근거를 개선함을 보여 줍니다. 합의에 필요한 라운드 수도 중요합니다. GPT-5.6-Sol이 가장 적은 라운드로 합의했으므로, 토론 길이와 추론 비용은 고정 비용이 아니라 함께 관리할 공학적 변수입니다.

전망

이 결과에는 설계상의 한계가 있습니다. 증례는 모두 진단이 확정된 NEJM-MedQA에서 왔는데, 실제 진료는 그렇게 명확하지 않은 경우가 많습니다. 채점도 LLM Judge에 의존합니다. 110건으로 의사 보정을 했더라도 실제 임상 환경의 전향적 검증을 대신하지는 못합니다. 이 결과는 정제된 벤치마크에서의 모델 행동을 보여 줄 뿐, 환자 결과를 보여 주지는 않습니다.

단일 모델 설계는 깨끗한 비교에는 강점이지만 질문도 남깁니다. 서로 다른 모델이 각기 다른 전문과를 맡는 혼합 패널은 평가되지 않았습니다. 혼합 패널이 가장 좋은 단일 모델 파이프라인을 넘는지 확인하는 것이 자연스러운 다음 단계이며, 같은 증례 세트가 있으니 비교도 쉽습니다.

지금 AI Consilium이 주는 기준점은 분명합니다. 모델 선택이 형식보다 중요하고, 구조화는 관리·처치에서 가장 도움이 되며, 다학제 종합은 협진 전 주 역할 의견을 5개 공통 기준 모두에서 앞섭니다. 이후 연구는 임상의가 참여하는 전향적 검증을 더하고, 검토 라운드당 비용도 함께 보고해야 합니다.