AI Consilium : évaluer les avis médicaux des LLM

Contexte

Les grands modèles de langage savent déjà dresser un diagnostic différentiel pour un cas difficile. Un second avis utile exige pourtant davantage : il doit s'appuyer sur des faits, rester cohérent sur le plan clinique, guider la suite de la prise en charge et rester sûr. La plupart des évaluations existantes vérifient seulement si le diagnostic final est exact. Ce critère dit peu de la capacité d'un rapport à aider un clinicien à décider de la conduite à tenir.

L'article AI Consilium propose un benchmark construit autour de cette lacune. Il imite une concertation pluridisciplinaire, c'est-à-dire cette réunion où plusieurs spécialistes examinent un patient et s'accordent sur un plan. Les auteurs retiennent 300 cas NEJM-MedQA dont le diagnostic final est confirmé. Ils les répartissent en deux groupes : 110 cas servent à la notation de référence par des médecins et à l'étalonnage du juge automatique, tandis que 190 cas sont réservés à l'évaluation proprement dite.

Sur ces mêmes cas, le travail pose plusieurs questions liées. Quel est l'écart de capacité entre les modèles ? La synthèse pluridisciplinaire fait-elle mieux qu'un avis de spécialité isolé ? Une exigence de raisonnement clinique structuré aide-t-elle ? Comment évoluent les échanges pendant la concertation ? Quelles ressources de raisonnement chaque modèle réclame-t-il ? Réunir toutes ces questions dans un seul jeu de cas public constitue l'apport central de l'étude.

Analyse approfondie

Le dispositif repose sur huit pipelines mono-modèle. Dans chacun, le même modèle joue tous les rôles de spécialistes. Chaque rôle rédige d'abord son propre avis. Les rôles entrent ensuite dans une phase de consilium interactive : ils se relisent mutuellement sur plusieurs tours jusqu'à atteindre un consensus, puis le pipeline produit un rapport final. Comme un seul modèle tient tous les rôles, les différences observées entre pipelines tiennent au modèle lui-même, et non à un mélange de modèles. Chaque pipeline fonctionne dans deux conditions. En mode libre, le modèle rédige sans format imposé. En mode structuré, il doit organiser sa réponse selon un cadre fixe de raisonnement clinique. Un juge LLM étalonné par des médecins attribue ensuite les notes. L'équipe l'a d'abord aligné sur les notes de référence des médecins grâce aux 110 cas d'étalonnage, puis l'a appliqué aux 190 cas réservés. Les critères couvrent l'ancrage factuel, la cohérence du raisonnement, la hiérarchisation des problèmes et la prise en charge. Le juge a noté les rapports finaux et, en condition structurée, l'avis du rôle principal produit avant la concertation. Ce second jeu permet d'isoler le gain apporté par la synthèse pluridisciplinaire. Au total, le juge a évalué 3 040 rapports finaux.

Qu'est-ce qui pèse le plus sur la qualité d'un second avis médical : le modèle ou le format de réponse ? Dans les résultats d'AI Consilium, l'identité du modèle creuse davantage l'écart de qualité que le format de réponse. Changer de modèle déplace les scores plus que passer du texte libre à la sortie structurée. Le format n'est pas anodin pour autant. Les rapports finaux structurés obtiennent un meilleur score global dans sept pipelines sur huit. Le gain le plus net concerne la prise en charge : 2,740 pour les rapports structurés, contre 2,436 pour les rapports libres. La structure aide donc surtout sur la question concrète de la suite à donner, sans relever tous les critères de façon uniforme. L'étape de concertation apporte-t-elle une valeur propre ? Les auteurs comparent la synthèse structurée complète à l'avis structuré du rôle principal, rédigé avant la concertation. La synthèse obtient de meilleurs scores sur les cinq critères communs. Les progrès les plus marqués touchent la hiérarchisation des problèmes, l'ancrage factuel et la cohérence du raisonnement. Ce constat soutient l'idée que la relecture entre rôles corrige des biais de classement et des erreurs factuelles qu'un point de vue unique laisse passer. Côté modèles, GPT-5.6-Sol arrive en tête sur chaque composant évalué et demande le moins de tours de relecture pour atteindre un consensus. Le résumé ne fournit pas de chiffres d'ablation plus fins : les lecteurs intéressés devront consulter l'article complet.

Impact sur l'industrie

Pour les équipes qui conçoivent de l'IA médicale, le premier enseignement porte sur l'évaluation. Décomposer un second avis en ancrage factuel, cohérence, applicabilité et sécurité se rapproche davantage de l'usage clinique qu'un simple taux de diagnostics exacts. Le recours à un juge étalonné sur des notes de médecins rend aussi ce type de revue reproductible à grande échelle. Le benchmark offre aux développeurs une mesure commune : ils peuvent comparer modèles, formats de sortie et schémas de collaboration sur les mêmes 190 cas réservés.

Le deuxième enseignement est pratique. Pour améliorer un système multispécialité, le choix du modèle de base semble rapporter plus qu'un changement de format. Le format structuré garde néanmoins sa place là où le système doit formuler des conseils de prise en charge, vu l'écart de 2,740 contre 2,436. Un déploiement raisonnable retiendrait donc d'abord le modèle le plus solide, puis ajouterait le raisonnement structuré aux étapes qui produisent les recommandations de traitement et de suivi.

Le troisième enseignement touche à la conception multi-agents. La comparaison avant et après la concertation montre que la relecture croisée entre rôles améliore la hiérarchisation et l'ancrage factuel : la puissance de calcul supplémentaire n'est pas gaspillée. Le nombre de tours nécessaires au consensus compte aussi. GPT-5.6-Sol s'est accordé en un minimum de tours, ce qui invite à suivre la durée des échanges et le coût de raisonnement comme des variables d'ingénierie, et non comme une charge fixe.

Perspectives

La conception même de l'étude fixe les limites de ses conclusions. Les cas proviennent de NEJM-MedQA et tous ont un diagnostic confirmé, alors que la pratique réelle offre rarement une telle clarté. La notation repose sur un juge LLM. L'étalonnage par des médecins sur 110 cas réduit le risque de dérive, mais il ne remplace pas une validation prospective en situation clinique réelle. Les résultats décrivent le comportement des modèles sur un benchmark choisi, pas l'évolution de patients.

Le choix du mono-modèle favorise une comparaison propre, mais il laisse une question ouverte. L'article évalue des pipelines où un seul modèle joue tous les rôles. Il ne traite pas de panels mixtes, où des modèles différents se partageraient les spécialités. Une suite naturelle consisterait à tester si de tels panels dépassent le meilleur pipeline mono-modèle. Le jeu de cas commun rendrait cette comparaison simple à mener.

Pour l'instant, AI Consilium fournit un point de repère. Il montre que le choix du modèle l'emporte sur le format, que la structure aide surtout pour la prise en charge, et que la synthèse pluridisciplinaire dépasse l'avis principal initial sur les cinq critères communs. Les travaux à venir devraient ajouter des tests prospectifs avec des cliniciens dans la boucle et chiffrer le coût de chaque tour de relecture. Ces deux ajouts diraient si les gains de qualité mesurés tiennent au chevet du patient et à un prix acceptable.