Tool-Abruf per Suche senkt Genauigkeit von LLM-Agenten
Ein LLM-Agent kann den richtigen Wert berechnen und trotzdem falsch antworten. Um Kontext zu sparen, speichern viele Agent-Harnesses lange Tool-Ausgaben in Dateien, die der Agent bei Bedarf durchsucht oder liest. Diese Arbeit nutzt PHREEQC, den geochemischen Simulator des USGS, als reales Tool. Seine Berichte erreichen bis zu 846,8k Zeichen, und Agenten beantworteten damit 158 ausführungsgeprüfte Multiple-Choice-Fragen. Beim Durchsuchen der Berichte über einen Abschnittsindex verloren GPT-5.1 und GPT-5.2 11,3 bzw. 7,9 Prozentpunkte Genauigkeit, während Claude Opus 4.6 und Sonnet 4.6 keinen messbaren Verlust zeigten. Ein erneuter Lauf aller 11.007 Simulationsaufrufe ergab, dass GPT-Modelle den Zielwert ähnlich oft berechnen wie zuvor. Geändert hat sich die Beweisgrundlage: Sie überspringen oft den Bericht, zitieren eine eigene Ausgabedatei mit höherer Genauigkeit und runden auf eine benachbarte Option. Die Autoren nennen das Evidence Substitution. Bei fixierter Simulation kostet die Suche GPT-5.2 weiterhin 9,4 Punkte. Der Hinweis auf die maßgebliche Ausgabe steigert drei GPT-Modelle um 6,3 bis 7,9 Punkte, die Aufforderung zu korrektem Runden bringt nichts.
Hintergrund
Ein LLM-Agent kann den richtigen Wert berechnen und trotzdem falsch antworten. Eine neue arXiv-Studie untersucht eine technische Entscheidung hinter diesem Fehler. Um Kontext zu sparen, legen viele Agent-Harnesses lange Tool-Ausgaben nicht mehr ins Gespräch. Sie speichern sie in Dateien, die der Agent bei Bedarf durchsucht oder liest.
Als reales Tool dient PHREEQC, der geochemische Simulator des USGS. Seine Berichte erreichen bis zu 846,8k Zeichen. Damit beantworteten Agenten 158 ausführungsgeprüfte Multiple-Choice-Fragen. Die Arbeit misst den Genauigkeitsverlust durch den Abruf per Suche, zerlegt ihn in Berechnung und Beweisgrundlage und benennt die Fehlerart: Evidence Substitution.
Tiefenanalyse
Das Design trennt die Ursachen. In einer Bedingung sieht der Agent den Bericht im Kontext, in der anderen nur über einen Abschnittsindex. Da PHREEQC deterministisch arbeitet, ließen sich alle 11.007 protokollierten Simulationsaufrufe erneut ausführen. Für jeden Aufruf wurde geprüft, ob die Simulation den gesuchten Zielwert überhaupt lieferte.
Warum senkt der Abruf von Tool-Ausgaben per Suche die Genauigkeit von LLM-Agenten? Nach dieser Studie liegt es nicht an schlechterer Berechnung. Beim Durchsuchen über den Abschnittsindex verloren GPT-5.1 und GPT-5.2 11,3 bzw. 7,9 Prozentpunkte, Claude Opus 4.6 und Sonnet 4.6 zeigten keinen messbaren Verlust. Die GPT-Modelle berechneten den Zielwert ähnlich oft wie zuvor. Sie übersprangen jedoch oft den Bericht, zitierten eine eigene Ausgabedatei mit höherer Genauigkeit und rundeten auf eine benachbarte Option.
Bei fixierter Simulation kostete die Suche GPT-5.2 weiterhin 9,4 Punkte. Der Verlust stammt also aus der Wahl der Evidenz. Ein Sonderfall ist GPT-5.4: Es simulierte häufiger korrekt, und das verdeckte einen Verlust von etwa zehn Punkten bei der Evidenznutzung. Netto war die Änderung von null nicht zu unterscheiden.
Branchenwirkung
Die erste Lehre betrifft die Bewertung. Die Gesamtgenauigkeit ließe GPT-5.4 unbeeinträchtigt wirken, obwohl zwei gegenläufige Effekte wirken. Teams, die Strategien zur Kontextverwaltung in einem Agent-Harness testen, sollten daher prüfen, wo Genauigkeit verloren geht, und nicht nur den Gesamtwert ablesen.
Die zweite Lehre betrifft den Einsatz. Große Tool-Ausgaben auf Platte zu legen und per Suche zu lesen, ist ein verbreiteter Weg, Token zu sparen. Hier zahlten die getesteten GPT-Modelle einen klaren Preis, die beiden Claude-Modelle nicht. Modellwahl und Kontextstrategie gehören deshalb zusammen entschieden.
Die dritte Lehre: Die Gegenmittel sind günstig. Der Hinweis auf die maßgebliche Ausgabe steigerte drei GPT-Modelle um 6,3 bis 7,9 Punkte gegenüber reiner Suche. Bei GPT-5.1 und GPT-5.2 wirkte das direkte Einbetten passender Ausgaben ähnlich gut. Die Aufforderung zu korrektem Runden half nicht. Besonders heikel ist das in der wissenschaftlichen Berechnung, wo Antwortoptionen nur im Rundungsschritt auseinanderliegen.
Ausblick
Die Methode ist wiederverwendbar. Ein deterministischer Simulator und die Wiederholung protokollierter Aufrufe erlauben es, Fehler in Berechnung und Evidenznutzung zu zerlegen. Ob sich das auf Datenbankabfragen oder Code-Ausführung übertragen lässt, zeigt die Quelle nicht. Das bleibt eine Vermutung.
Für Tool-Entwickler folgt ein praktischer Schritt: Wer mehrere Dateien mit unterschiedlicher Genauigkeit erzeugt, lässt dem Agenten Raum für die falsche Wahl. Eine klar markierte maßgebliche Ausgabe oder kurze Ergebnisse direkt im Kontext schließen diese Lücke mit wenig Aufwand. Offen bleibt, wie weit die Befunde über ein Tool und 158 Fragen hinaus tragen. Der Abruf per Suche sollte vorerst als modellabhängige Einstellung gelten, die man testet.
Sources
FAQ
Was hat die Studie zur Tool-Ausgabe per Suche herausgefunden?
Die Studie nutzte PHREEQC, den geochemischen Simulator des USGS, für 158 ausführungsgeprüfte Multiple-Choice-Fragen. Beim Durchsuchen der Berichte über einen Abschnittsindex verloren GPT-5.1 und GPT-5.2 11,3 bzw. 7,9 Prozentpunkte Genauigkeit, während Claude Opus 4.6 und Sonnet 4.6 keinen messbaren Verlust zeigten.
Warum senkt der Abruf per Suche die Genauigkeit von GPT-Agenten?
GPT-Modelle rechnen dabei nicht schlechter. Nach dem erneuten Lauf aller 11.007 Simulationsaufrufe berechneten sie den Zielwert ähnlich oft, übersprangen aber häufig den PHREEQC-Bericht, zitierten eine eigene genauere Ausgabedatei und rundeten auf eine benachbarte Option. Die Autoren nennen das Evidence Substitution.
Wie lässt sich dieser Genauigkeitsverlust verringern?
In der PHREEQC-Studie steigerte der Hinweis auf die maßgebliche Ausgabe drei GPT-Modelle um 6,3 bis 7,9 Prozentpunkte gegenüber reiner Suche. Bei GPT-5.1 und GPT-5.2 wirkte das direkte Einbetten passender Ausgaben ähnlich, während die Aufforderung zu korrektem Runden nichts brachte.