Perte silencieuse à l'ingestion de documents IA
Pour appliquer des règles ou répondre à des questions de conformité, un agent d'entreprise doit d'abord convertir des fichiers Word ou PDF en tokens via une couche d'ingestion. Cet article montre que les convertisseurs courants perdent le sens que les auteurs transmettent par l'apparence, comme le surlignage et la couleur. L'agent se trompe alors avec assurance, au lieu de répondre de façon visiblement incomplète. Sur 76 documents réels de politiques internes, les auteurs étiquettent les indices à partir des propriétés OOXML des fichiers et notent avec un comparateur déterministe, sans juge LLM. Le micro F1 atteint 0,690 avec la mise en forme conservée, 0,150 avec docling et 0,075 en texte brut, résultats reproduits sur six modèles. La perte se concentre sur le surlignage (+0,302) et la couleur (+0,262) ; les autres indices pèsent peu. Sur 6 460 documents, 32,8 % contiennent une couleur ou un surlignage intentionnel. Un test préenregistré montre que typer l'indice ajoute encore +0,085. La fiabilité des agents d'entreprise se joue donc surtout à l'ingestion.
Contexte
Un agent d'entreprise ne lit pas un document directement. Avant d'appliquer une politique interne ou de répondre à une question de conformité, une couche d'ingestion convertit le fichier Word ou PDF en tokens. Un article publié sur arXiv soutient que la fiabilité se perd en silence à cette étape. Les auteurs surlignent une exigence clé ou la composent en couleur, et les convertisseurs courants suppriment ces signaux.
La perte est silencieuse. L'agent ne reçoit aucun avertissement, donc sa réponse ne paraît pas incomplète. Il répond avec assurance, et il se trompe.
Les auteurs ont bâti leur tâche sur 76 documents réels de politiques internes. L'agent doit retrouver les exigences que l'auteur a signalées. La vérité terrain vient des propriétés OOXML des fichiers, et un comparateur déterministe note les réponses, sans juge LLM.
Analyse approfondie
Que devient un agent dont le convertisseur ignore le surlignage et la couleur ? Il devine, avec assurance. Avec la mise en forme conservée, le micro F1 atteint 0,690. Avec docling, il tombe à 0,150, et à 0,075 en texte brut. L'écart se reproduit sur six modèles de réponse : cinq modèles Claude des gammes Opus, Sonnet et Haiku, plus GPT-5.6 d'OpenAI. La faiblesse se situe donc dans l'entrée, pas dans un modèle particulier. Les fausses alertes expliquent ces erreurs confiantes. Sur les exigences que l'auteur n'a pas signalées, le taux de faux positifs de docling est quatre fois supérieur à celui de l'approche des auteurs. Sans les indices, l'agent invente une emphase là où il n'y en a pas. Un test leave-one-out au niveau des segments isole les indices responsables, avec correction de Holm. Deux indices concentrent la perte : le surlignage (+0,302) et la couleur (+0,262), avec p inférieur à 1e-4. Le gras, l'italique, la chasse fixe et le barré restent chacun à moins de 0,003 de zéro. Les auteurs ont aussi contrôlé leurs étiquettes par un rendu des pages en images, avec un kappa de 0,72. Prédire les phrases marquées d'après la seule formulation donne une AUC de 0,664, ce qui borne ce que le texte seul permet. La même asymétrie apparaît sur les PDF.
Un test préenregistré compare deux remèdes : conserver l'indice, ou le typer pour indiquer qu'un segment est surligné ou coloré. Le typage ajoute +0,085, avec un p corrigé de 0,049. Ce résultat franchit à peine le seuil de signification.
Impact sur l'industrie
Les indices concernés sont fréquents. Sur 6 460 documents, 32,8 % contiennent une couleur ou un surlignage intentionnel, et 10,3 % les placent sur des clauses d'obligation. Ce sont ces clauses qui intéressent le plus les agents de conformité.
Les benchmarks d'analyse actuels ne notent pas la conservation de la couleur ni du surlignage, et les convertisseurs courants ne les gardent pas. Cet angle mort peut expliquer un schéma connu : un agent convaincant en démonstration, qui se trompe discrètement une fois déployé sur des fichiers annotés à la main.
Pour les équipes, la leçon est d'inspecter ce que devient le document avant le modèle. Un modèle plus récent ne retrouvera pas une information qui n'est jamais arrivée. La correction est peu coûteuse et mesurable : conserver d'abord couleurs et surlignages à l'ingestion, puis les typer. La méthode d'évaluation, fondée sur OOXML et un comparateur déterministe, élimine le bruit du juge et permet de tester de nouveaux convertisseurs.
Perspectives
Plusieurs pistes restent ouvertes. La première est d'étendre le test à d'autres formats que Word et PDF. Le PDF montre la même asymétrie, mais la source des étiquettes y diffère, et le kappa de 0,72 est un indice, pas la preuve d'étiquettes parfaites.
La deuxième concerne la conception des convertisseurs. Si les indices typés aident, il faut un moyen standard de les émettre. Le gain de +0,085 suggère que la manière d'exprimer l'indice compte, pas seulement sa survie. Le p de 0,049 impose de confirmer ce résultat sur d'autres corpus.
La troisième touche aux benchmarks. Si l'analyse documentaire notait la conservation du surlignage et de la couleur, les éditeurs auraient une raison de combler l'écart. D'ici là, les équipes peuvent auditer leur ingestion, mesurer la part de documents marqués et vérifier si leurs agents répondent autrement une fois les marques conservées.
Sources
FAQ
Que montre cet article sur la perte silencieuse lors de l'ingestion de documents ?
Cet article montre que la couche d'ingestion, qui convertit les fichiers Word ou PDF en tokens pour les agents d'entreprise, laisse les convertisseurs courants perdre le sens transmis par le surlignage et la couleur. L'agent se trompe alors avec assurance, au lieu de répondre de façon visiblement incomplète. Les auteurs l'ont testé sur 76 documents réels de politiques internes.
Pourquoi la perte du surlignage et des couleurs à l'ingestion compromet-elle la fiabilité des agents d'entreprise ?
La perte du surlignage et des couleurs à l'ingestion réduit fortement la fiabilité des agents d'entreprise. Le micro F1 atteint 0,690 avec la mise en forme conservée, 0,150 avec docling et 0,075 en texte brut, résultats reproduits sur six modèles de réponse. Sur 6 460 documents, 32,8 % contiennent une couleur ou un surlignage intentionnel, donc le problème est fréquent.
Que doivent surveiller et faire ensuite les équipes qui construisent des agents d'entreprise ?
Les équipes qui construisent des agents d'entreprise doivent d'abord vérifier ce que leur couche d'ingestion modifie avant que le document n'atteigne le modèle. La perte se concentre sur le surlignage (+0,302) et la couleur (+0,262) ; les autres indices pèsent peu. Un test préenregistré montre que typer l'indice ajoute encore +0,085 : conserver d'abord, typer ensuite.