Stiller Informationsverlust bei Dokument-Ingestion

Hintergrund

Unternehmensagenten lesen Dokumente nicht direkt. Bevor ein Agent eine Richtlinie umsetzt oder eine Compliance-Frage beantwortet, wandelt eine Ingestion-Schicht Word- oder PDF-Dateien in Token um. Eine neue Arbeit auf arXiv zeigt, dass an dieser Stelle Zuverlässigkeit unbemerkt verloren geht. Autoren von Richtlinien transportieren Bedeutung oft über das Aussehen: Sie heben eine zentrale Anforderung mit dem Textmarker hervor oder setzen sie in eine auffällige Farbe. Gängige Konverter verwerfen genau diese Signale.

Der Verlust geschieht still. Der Agent erhält keinen Hinweis, dass etwas fehlt, und wirkt deshalb nicht unvollständig. Er antwortet selbstsicher, und die Antwort ist falsch. Das ist das Kernrisiko der Studie: nicht erkennbar weniger Antwort, sondern selbstbewusster Fehler.

Die Autoren bauen ihre Aufgabe auf 76 realen Richtliniendokumenten auf. Der Agent soll die Anforderungen wiederfinden, die der Autor gezielt markiert hat. Die Referenzwerte stammen aus den OOXML-Eigenschaften der Dateien selbst. Ein deterministischer Matcher bewertet die Antworten. Ein LLM-Bewerter kommt nicht zum Einsatz, daher hängt das Ergebnis nicht von der Meinung eines zweiten Modells ab.

Tiefenanalyse

Was geschieht mit einem Agenten, wenn der Konverter Hervorhebungen und Farben entfernt? Er rät, und zwar mit Überzeugung. Die Studie misst das direkt: Bei erhaltener Formatierung liegt der Micro-F1 bei 0,690. Mit docling fällt er auf 0,150, bei reiner Textextraktion auf 0,075. Der Abstand lässt sich über sechs Antwortmodelle reproduzieren, nämlich fünf Claude-Modelle aus den Stufen Opus, Sonnet und Haiku sowie GPT-5.6 von OpenAI. Die Schwäche liegt also in der Eingabe und nicht in einem einzelnen Modell. Die Fehlalarme erklären die selbstsicheren Fehler. Bei Anforderungen, die der Autor nicht markiert hat, ist die Falsch-Positiv-Rate von docling viermal so hoch wie beim Ansatz der Autoren. Ein Agent, der die Hinweise nicht sieht, kann markierten und unmarkierten Text nicht unterscheiden und erfindet Betonung dort, wo keine ist. Um die entscheidenden Hinweise zu finden, führten die Autoren ein Leave-one-out-Experiment auf Span-Ebene durch. Sie löschten jeweils einen Hinweistyp und maßen den Punkteverlust, mit Holm-Korrektur für die Mehrfachtests. Fast der gesamte Verlust entfällt auf zwei Hinweise: Hervorhebung mit +0,302 und Farbe mit +0,262, beide mit p unter 1e-4. Fett, Kursiv, Festbreitenschrift und Durchstreichung liegen jeweils höchstens 0,003 von null entfernt. Entgegen der Intuition entsteht der Schaden also nicht bei fettem Text.

Die Autoren prüften auch ihre eigenen Labels. Sie rendeten Seiten als Bilder und verifizierten die Labels über eine unabhängige visuelle Modalität, mit einem Kappa von 0,72. Außerdem testeten sie, ob allein der Wortlaut vorhersagen kann, welche Sätze markiert wurden, und erreichten eine AUC von 0,664. Diese Zahl begrenzt, wie viel ein Modell ohne Formatierung aus dem Textinhalt ableiten kann. Dieselbe Asymmetrie zwischen den Hinweistypen zeigte sich auch bei PDFs. Ein vorab registriertes Experiment verglich zwei Gegenmittel. Das eine bewahrt den Hinweis nur. Das andere benennt seinen Typ, sodass der Agent erfährt, ob eine Stelle hervorgehoben oder farbig ist. Die Typangabe bringt weitere +0,085, bei einem Holm-korrigierten p von 0,049. Dieses Ergebnis überschreitet die Signifikanzschwelle nur knapp und verdient eine sorgfältige Replikation.

Branchenwirkung

Die Befunde sind relevant, weil die betroffenen Hinweise häufig vorkommen. In 6.460 Dokumenten enthalten 32,8 % gezielte Farben oder Hervorhebungen. In 10,3 % fallen diese Markierungen auf Pflichtklauseln, also genau die Sätze, nach denen Compliance-Agenten am häufigsten gefragt werden. Aktuelle Parsing-Benchmarks bewerten den Erhalt von Farbe und Hervorhebung nicht, und gängige Konverter bewahren sie nicht. Das ist ein blinder Fleck der bestehenden Evaluation. Er könnte ein bekanntes Muster erklären: Ein Agent wirkt in der Demo unauffällig und macht nach dem Einsatz an handmarkierten echten Richtliniendateien leise Fehler.

Für Teams, die Unternehmensagenten bauen, lautet die praktische Lehre: Prüfen Sie, was aus dem Dokument wird, bevor es das Modell erreicht. Ein neueres Modell holt keine Information zurück, die nie angekommen ist. Die Abhilfe ist günstig und messbar. Zuerst Farben und Hervorhebungen in der Ingestion-Schicht erhalten, dann mit ihrem Typ auszeichnen, was laut dem vorab registrierten Test einen weiteren Gewinn bringt. Für die Open-Source-Gemeinschaft hat die Evaluationsmethode eigenen Wert. Die Labels stammen aus OOXML-Eigenschaften, ein deterministischer Matcher bewertet. Das beseitigt Rauschen durch Bewertermodelle und erleichtert die Reproduktion. Neue Konverter und Dokumenttypen lassen sich nach demselben Protokoll testen.

Ausblick

Die Arbeit lässt mehrere Richtungen offen. Erstens sollte der Test auf weitere Dateiformate ausgeweitet werden. Bei PDFs zeigte sich dasselbe Muster, doch die Quelle der Labels unterscheidet sich dort, und das Kappa von 0,72 ist ein Indiz, kein Beweis für perfekte Labels.

Zweitens betrifft es das Konverter-Design. Wenn typisierte Hinweise helfen, brauchen Konverter eine Standardform, um sie auszugeben. Der Gewinn von +0,085 deutet darauf hin, dass nicht nur zählt, ob ein Hinweis überlebt, sondern auch, wie er ausgedrückt wird. Das knappe p von 0,049 verlangt, das Ergebnis an anderen Korpora zu bestätigen, bevor es zur Regel wird.

Drittens geht es um Benchmarks. Bewerten Parsing-Benchmarks künftig den Erhalt von Farbe und Hervorhebung, haben Konverter-Anbieter einen Grund, die Lücke zu schließen. Bis dahin sollten Teams ihre eigene Ingestion prüfen, den Anteil gezielt markierter Dokumente erfassen und testen, ob ihre Agenten anders antworten, sobald die Markierungen erhalten bleiben. Die Kernaussage der Studie ist schlicht: Die Zuverlässigkeit eines Unternehmensagenten entscheidet sich weitgehend bei der Ingestion, noch bevor das Schlussfolgern beginnt.