AI Consilium: Benchmark für LLM-Zweitmeinungen

Hintergrund

Große Sprachmodelle können für schwierige Fälle Differenzialdiagnosen auflisten. Eine nützliche Zweitmeinung verlangt jedoch mehr: Sie muss faktenbasiert, klinisch schlüssig, umsetzbar und sicher sein. Die meisten bisherigen Tests prüfen nur, ob die Enddiagnose stimmt. Das sagt wenig darüber, ob ein Bericht der behandelnden Ärztin bei der nächsten Entscheidung wirklich hilft.

Das Paper stellt dazu den Benchmark AI Consilium vor. Er bildet ein interdisziplinäres Konsil nach, in dem mehrere Fachrichtungen einen Fall prüfen und sich auf einen Plan einigen. Die Grundlage sind 300 NEJM-MedQA-Fälle mit gesicherter Diagnose. 110 Fälle dienen der ärztlichen Referenzbewertung und der Kalibrierung des Judges. Die übrigen 190 Fälle bleiben für die eigentliche Auswertung zurückgehalten.

Auf denselben Fällen stellen die Autoren mehrere verknüpfte Fragen. Wie groß sind die Unterschiede zwischen den Modellen? Schlägt die interdisziplinäre Synthese eine einzelne Fachstellungnahme? Hilft strukturiertes klinisches Schlussfolgern? Wie verläuft die Diskussion im Konsil, und wie viel Rechenaufwand braucht jedes Modell? Diese Fragen in einem gemeinsamen, öffentlichen Fallset zu bündeln, ist der Kern des Beitrags.

Tiefenanalyse

Das Design nutzt acht Einzelmodell-Pipelines. In jeder Pipeline übernimmt ein einziges Modell alle Fachrollen. Jede Rolle verfasst zuerst eine eigene Stellungnahme. Danach prüfen sich die Rollen in einer interaktiven Konsilphase über mehrere Runden gegenseitig, bis ein Konsens steht und ein Abschlussbericht entsteht. Da ein Modell alle Rollen trägt, lassen sich Unterschiede sauber auf das Modell zurückführen. Jede Pipeline läuft unter zwei Bedingungen: mit freiem und mit strukturiertem klinischem Schlussfolgern.

Was beeinflusst die Qualität einer LLM-Zweitmeinung stärker, das Modell oder das Antwortformat? Im AI-Consilium-Benchmark trennt die Modellidentität die Qualität stärker als das Antwortformat. Ein Modellwechsel verschiebt die Werte weiter als der Wechsel von freier zu strukturierter Ausgabe. Das Format bleibt dennoch relevant: Strukturierte Berichte erzielen in sieben von acht Pipelines höhere Gesamtwerte. Am deutlichsten ist der Vorsprung beim Management mit 2,740 gegenüber 2,436 bei freien Berichten.

Auch das Konsil selbst zahlt sich aus. Die vollständige strukturierte Synthese schneidet in allen fünf gemeinsamen Kriterien besser ab als die Primärstellungnahme vor dem Konsil. Besonders groß sind die Zuwächse bei der Priorisierung der Probleme, der Faktenbasis und der Schlüssigkeit der Argumentation. GPT-5.6-Sol führt bei jeder bewerteten Komponente und braucht die wenigsten Prüfrunden bis zum Konsens. Feinere Ablationswerte nennt die Zusammenfassung nicht, dafür muss man das Paper selbst lesen.

Branchenwirkung

Für Teams, die medizinische KI entwickeln, liegt die erste Lehre in der Bewertung. Eine Zweitmeinung nach Faktenbasis, Schlüssigkeit, Umsetzbarkeit und Sicherheit zu zerlegen, kommt dem klinischen Alltag näher als eine reine Trefferquote bei der Diagnose. Ein Judge, der an ärztlichen Bewertungen kalibriert wurde, macht diese Prüfung zudem im großen Maßstab wiederholbar. Insgesamt bewertete er 3.040 Abschlussberichte. Entwickler erhalten so einen gemeinsamen Maßstab für Modelle, Formate und Kooperationsschemata.

Die zweite Lehre ist praktisch: Wer ein Mehr-Fachrichtungen-System verbessern will, gewinnt durch die Wahl des Basismodells wahrscheinlich mehr als durch ein anderes Ausgabeformat. Strukturierte Vorgaben lohnen sich vor allem dort, wo das System Management-Empfehlungen geben soll. Der Vergleich vor und nach dem Konsil zeigt außerdem, dass gegenseitige Prüfung zwischen Rollen Priorisierung und Faktenlage verbessert. Die Zahl der Prüfrunden bis zum Konsens sollte man deshalb zusammen mit den Rechenkosten als Stellgröße im Betrieb erfassen.

Ausblick

Die Grenzen der Aussagen setzt das Design selbst. Alle Fälle stammen aus NEJM-MedQA und haben eine gesicherte Diagnose, im echten Klinikalltag fehlt diese Klarheit oft. Die Bewertung stützt sich auf einen LLM-Judge. Die ärztliche Kalibrierung an 110 Fällen verringert das Risiko einer Verzerrung, ersetzt aber keine prospektive Validierung im klinischen Betrieb. Die Ergebnisse zeigen das Verhalten der Modelle auf einem kuratierten Benchmark, nicht den Nutzen für Patientinnen und Patienten.

Offen bleibt ferner, wie gemischte Gremien abschneiden, in denen verschiedene Modelle unterschiedliche Fachrichtungen übernehmen. Das Paper prüft nur Pipelines mit einem Modell für alle Rollen. Das gemeinsame Fallset würde diesen Vergleich leicht machen. Sinnvolle nächste Schritte sind prospektive Tests mit Ärztinnen und Ärzten im Prozess sowie ein Ausweis der Kosten pro Prüfrunde. So ließe sich klären, ob die gemessenen Qualitätsgewinne am Krankenbett und zu vertretbarem Preis bestehen.