Terminal X + GPT-6.1 : 88,6 % d'accord avec les seniors

Contexte

Le 20 octobre, OpenAI a publié une étude de cas consacrée à Terminal X, une société qui applique les grands modèles de langage à la recherche en investissement et à l'aide à la décision. L'histoire ne porte pas sur le modèle qui rédige l'analyse, mais sur celui qui la contrôle. Terminal X a construit un agent d'évaluation, nommé Eval Agent, dont la seule mission est de noter les productions d'autres agents.

Eval Agent attribue une note à chaque résultat selon une grille de 54 critères. Après le passage à GPT-6.1 Sol, l'agent s'accorde à 88,6 % avec le jugement d'investisseurs seniors. Il repère aussi 25 % d'écarts supplémentaires par rapport au mandat d'investissement d'un fonds. Ce mandat regroupe les limites fixées par le contrat ou le prospectus : univers d'actifs éligibles, exposition au risque, bornes de la stratégie.

Une réserve s'impose. Les documents publics ne précisent ni la taille de l'échantillon derrière les 88,6 %, ni le nombre d'évaluateurs, ni la version du modèle qui sert de référence pour les 25 %. Ces chiffres sont des signaux d'orientation, pas des scores comparables d'un fournisseur à l'autre.

Analyse approfondie

Pourquoi un agent d'évaluation compte-t-il davantage en finance que dans un chatbot généraliste ? Parce qu'une réponse fausse peut être régénérée, alors qu'une note de recherche qui cite des données périmées ou recommande un actif hors mandat peut causer un problème de conformité, voire une perte réelle. Un texte fluide ne prouve rien. Il faut vérifier que chaque conclusion repose sur une source, que chaque chiffre est traçable et que chaque recommandation reste dans le mandat. La grille de 54 critères sert à cela. Elle transforme l'impression diffuse d'un investisseur senior, « ce document est fiable », en une liste d'éléments contrôlables un à un. Cette méthode, appelée LLM-as-a-judge, a une faiblesse connue : le juge peut lui aussi se tromper. Il tend à favoriser les réponses longues, à se laisser influencer par un ton assuré et à manquer les contraintes seulement implicites. Que signifie la détection de 25 % d'écarts de mandat en plus avec Eval Agent et GPT-6.1 Sol ? Les violations de mandat comptent parmi les erreurs les plus difficiles à trouver. Elles se cachent rarement dans une phrase fausse : le plus souvent, une étape du raisonnement franchit discrètement une limite. En détecter davantage suggère que le nouveau modèle garde mieux en tête un long ensemble de contraintes et les confronte à chaque production. La source ne décrit pas le mécanisme, il s'agit donc d'une inférence.

Le taux d'accord de 88,6 % répond à une autre question : l'évaluateur mérite-t-il la confiance ? S'il diverge trop des experts, la notation automatique ne réduit pas la charge de relecture humaine. Un accord proche de 89 % laisse penser qu'il peut prendre en charge le tri courant. En revanche, il ne dit pas comment se répartissent les 11,4 % restants entre violations manquées et fausses alertes, et cette répartition compte pour la maîtrise du risque.

Impact sur l'industrie

Pour les entreprises qui développent de l'IA financière, ce cas signale un déplacement de la concurrence. La question n'est plus de savoir quelles réponses paraissent les plus intelligentes, mais qui peut démontrer que les siennes sont fiables. Les fonds, courtiers et gestionnaires d'actifs qui achètent des agents tiennent à l'auditabilité, à la reproductibilité des contrôles et à la traçabilité. Une démonstration brillante pèse moins qu'un processus que l'on peut examiner. Un système d'évaluation automatique aligné sur le jugement des experts accélère aussi les itérations. Chaque changement de consigne, de chaîne d'outils ou de modèle de base peut être noté aussitôt, et l'équipe voit quels critères progressent et lesquels reculent. L'expérience de l'expert devient un actif réutilisable, au lieu de rester dans la tête de quelques personnes. Pour les fournisseurs de modèles, l'histoire est favorable. Noter exige une lecture en contexte long, le recoupement de plusieurs conditions et une constance de jugement : ce sont les capacités qu'un modèle phare veut démontrer. Pour les investisseurs seniors et les équipes de conformité, l'effet est double. Ils peuvent confier le tri répétitif à l'évaluateur et se concentrer sur les cas limites. Mais leurs jugements deviennent l'étalon de tout le système, et toute incohérence dans leurs annotations se répercute sur l'évaluateur.

Pour les concurrents, copier la partie génération n'est plus difficile. Le plus dur à reproduire reste une grille de qualité, des données annotées par des experts et un processus d'évaluation adapté au mandat de chaque établissement. Changer de modèle ne les apporte pas.

Perspectives

Plusieurs points méritent d'être suivis. D'abord, une divulgation plus complète : taille de l'échantillon, degré de désaccord entre évaluateurs, comparaisons avec d'autres modèles, taux de faux positifs et de faux négatifs de l'évaluateur lui-même. En contrôle des risques, manquer une vraie violation coûte bien plus cher qu'une alerte superflue, et le seul taux d'accord ne suffit donc pas. Ensuite, la question de l'origine de l'évaluateur et du générateur. Des modèles de la même famille peuvent partager des préférences et des angles morts. Le remède courant consiste à croiser avec des modèles d'autres familles, et la source ne dit rien de la pratique de Terminal X sur ce point. Troisième point : la grille peut-elle s'adapter quand les mandats changent ? Chaque établissement a ses propres clauses. Si la grille exige une réécriture manuelle importante pour chaque client, le passage à l'échelle sera freiné. Si le texte du mandat se convertit directement en critères de contrôle, le déploiement ira beaucoup plus vite.

Enfin, l'attitude des régulateurs. Dès qu'une institution financière utilisera les résultats d'évaluation de ses agents comme preuve de conformité interne, les autorités demanderont sans doute si l'évaluation elle-même est vérifiable et si les traces sont conservées. Si l'approche de Terminal X, des critères d'experts associés à un agent d'évaluation, se révèle stable, elle pourrait s'étendre au droit, à la santé et à l'audit, où la traçabilité compte tout autant.