Sortie d'outil par recherche : agents LLM moins précis
Un agent LLM peut calculer la bonne valeur et pourtant donner une mauvaise réponse finale. Pour économiser du contexte, de nombreux agent harness stockent les longues sorties d'outils dans des fichiers que l'agent cherche ou lit à la demande. Cet article utilise PHREEQC, le simulateur géochimique de l'USGS, comme outil réel. Ses rapports atteignent 846,8k caractères, et les agents l'ont employé pour répondre à 158 questions à choix multiples vérifiées par exécution. Avec une recherche par index de sections, GPT-5.1 et GPT-5.2 perdent 11,3 et 7,9 points de précision, tandis que Claude Opus 4.6 et Sonnet 4.6 ne montrent aucune perte détectable. La réexécution des 11 007 appels de simulation montre que les modèles GPT calculent la valeur cible à peu près aussi souvent. Ce qui change, c'est la preuve utilisée : ils sautent souvent le rapport, citent un fichier de leur propre sortie à plus haute précision et arrondissent vers une option voisine. Les auteurs parlent d'evidence substitution. Avec la simulation fixée, la recherche coûte encore 9,4 points à GPT-5.2. Désigner la sortie faisant autorité apporte 6,3 à 7,9 points aux trois modèles GPT, alors que demander un arrondi correct n'aide pas.
Contexte
Un agent LLM peut calculer la bonne valeur et pourtant livrer une mauvaise réponse finale. Une étude publiée sur arXiv examine le choix d'ingénierie qui se cache derrière ce défaut. Pour économiser du contexte, de nombreux agent harness ne placent plus les longues sorties d'outils dans la conversation. Ils les stockent dans des fichiers, que l'agent cherche ou lit à la demande.
Les auteurs ont testé ce choix avec PHREEQC, le simulateur géochimique de l'USGS. C'est un outil scientifique réel et déterministe. Ses rapports atteignent 846,8k caractères, et chaque valeur imprimée reste traçable. Les agents l'ont utilisé pour répondre à 158 questions à choix multiples vérifiées par exécution.
Analyse approfondie
Le dispositif sépare les causes. Dans une condition, l'agent voit le rapport du simulateur dans son contexte. Dans l'autre, il n'y accède que par un index de sections. PHREEQC renvoie la même sortie pour la même entrée. Les auteurs ont donc pu réexécuter les 11 007 appels de simulation consignés dans les journaux. Pour chacun, ils ont vérifié si la simulation produisait bien la valeur clé que la question exigeait. Pourquoi la lecture d'une sortie d'outil par recherche réduit-elle la précision d'un agent LLM ? Dans cette étude, la perte ne vient pas d'un calcul dégradé. Avec la recherche par index de sections, GPT-5.1 et GPT-5.2 perdent 11,3 et 7,9 points de précision, tandis que Claude Opus 4.6 et Sonnet 4.6 ne montrent aucune perte détectable. Les modèles GPT calculent la valeur cible à peu près aussi souvent qu'avant. Ce qui change, c'est la preuve sur laquelle repose la réponse.
Sous recherche, ces modèles sautent souvent le rapport. Ils citent un fichier de leur propre sortie, à plus haute précision, et arrondissent vers une option voisine. Les auteurs parlent d'evidence substitution. Avec la simulation fixée, la recherche coûte encore 9,4 points à GPT-5.2. Le cas de GPT-5.4 est plus subtil : il réussit plus souvent la simulation, ce qui masque environ dix points de perte liée à l'usage de la preuve. Le changement net ne se distingue pas de zéro, alors que deux effets opposés agissent.
Impact sur l'industrie
La première leçon concerne l'évaluation. Un score global laisserait croire que GPT-5.4 échappe à la recherche. La décomposition révèle une vraie pénalité d'usage de la preuve, cachée par une meilleure simulation. Les équipes qui comparent des stratégies de gestion du contexte dans un agent harness doivent donc regarder où la précision se perd, et pas seulement le total.
La deuxième leçon touche au déploiement. Stocker les grosses sorties d'outils sur disque puis les rechercher est une manière courante d'économiser des tokens. L'article montre que cette pratique n'est pas gratuite pour tous les modèles. Dans le montage testé, les deux modèles GPT paient un prix net, pas les deux modèles Claude. Le choix du modèle et celui de la stratégie de contexte doivent se décider ensemble.
La troisième leçon est que les remèdes coûtent peu. Désigner la sortie faisant autorité apporte 6,3 à 7,9 points aux trois modèles GPT par rapport à la recherche simple. Pour GPT-5.1 et GPT-5.2, intégrer directement dans le contexte une sortie assez courte fait aussi bien. Demander un arrondi correct n'aide pas. Le problème tient au choix de la source, et un rappel sur l'arrondi ne le corrige pas. Le risque est maximal en calcul scientifique, où deux options voisines ne diffèrent parfois que par l'arrondi.
Perspectives
La méthode est réutilisable. Un simulateur déterministe, associé au rejeu des appels consignés, permet de décomposer les échecs entre calcul et usage de la preuve. L'étude porte sur PHREEQC. L'extension à d'autres outils à longue sortie, comme les requêtes de base de données ou les environnements d'exécution de code, reste une piste : la source ne rapporte pas de tels essais.
Pour les concepteurs d'outils, le geste concret consiste à signaler clairement la sortie qui fait autorité. Un outil qui écrit plusieurs fichiers de précisions différentes laisse à l'agent la possibilité de choisir le mauvais. Marquer un fichier comme référence, ou renvoyer les résultats courts en ligne, retire cette marge à faible coût.
Des questions restent ouvertes. L'étude couvre une seule famille d'outils et 158 questions, et les effets dépendent du modèle. GPT-5.4 montre qu'un gain dans une compétence peut cacher une perte dans une autre. Les évaluations futures devront donc rapporter les deux volets. D'ici là, la lecture par recherche des sorties d'outils doit rester un réglage à tester selon le modèle, et non un défaut sûr pour tous les agents.
Sources
FAQ
Qu'a montré cette étude sur la sortie d'outil par recherche ?
L'étude a utilisé PHREEQC, le simulateur géochimique de l'USGS, pour 158 questions à choix multiples vérifiées par exécution. Avec une recherche par index de sections, GPT-5.1 et GPT-5.2 perdent 11,3 et 7,9 points de précision, alors que Claude Opus 4.6 et Sonnet 4.6 ne montrent aucune perte détectable.
Pourquoi la lecture par recherche réduit-elle la précision des agents GPT ?
Les modèles GPT ne calculent pas moins bien. Après la réexécution des 11 007 appels de simulation, ils obtiennent la valeur cible à peu près aussi souvent, mais sautent souvent le rapport PHREEQC, citent leur propre fichier plus précis et arrondissent vers une option voisine. Les auteurs nomment cela evidence substitution.
Comment limiter cette perte de précision avec des sorties d'outil volumineuses ?
Dans l'étude PHREEQC, désigner la sortie faisant autorité apporte 6,3 à 7,9 points aux trois modèles GPT par rapport à la simple recherche. Pour GPT-5.1 et GPT-5.2, intégrer directement une sortie assez courte donne un effet comparable, alors que demander un arrondi correct n'aide pas.