Terminal X mit GPT-6.1: 88,6 % wie Senior-Investoren

Hintergrund

Am 20. Oktober veröffentlichte OpenAI eine Fallstudie zu Terminal X. Das Unternehmen setzt große Sprachmodelle für Investmentrecherche und Entscheidungsunterstützung ein. Im Mittelpunkt steht nicht das Modell, das die Analysen schreibt, sondern das Modell, das sie prüft: der Eval Agent, der die Ergebnisse anderer Agenten bewertet.

Der Eval Agent vergibt Punkte anhand eines Rasters mit 54 Kriterien. Nach dem Wechsel auf GPT-6.1 Sol stimmte sein Urteil in 88,6 % der Fälle mit dem von Senior-Investoren überein. Zudem erkannte er 25 % mehr Abweichungen vom Anlagemandat eines Fonds. Das Mandat umfasst die Grenzen aus Fondsvertrag oder Prospekt: zulässige Anlagen, erlaubte Risikopositionen und Strategiegrenzen.

Eine Einschränkung gehört dazu. Die öffentlichen Angaben nennen weder die Stichprobengröße hinter den 88,6 % noch die Zahl der Gutachter. Auch die Basis des 25-Prozent-Vergleichs bleibt offen, also welche Modellversion als Referenz diente. Die Zahlen sind daher Richtungssignale, keine Benchmarkwerte, die sich zwischen Anbietern vergleichen ließen.

Tiefenanalyse

Warum zählt ein Bewertungsagent im Finanzbereich mehr als bei einem allgemeinen Chatbot? Eine falsche Chat-Antwort lässt sich neu erzeugen. Eine Research-Zusammenfassung, die stillschweigend veraltete Daten zitiert oder etwas außerhalb des Fondsmandats empfiehlt, kann ein Compliance-Problem oder echten finanziellen Schaden auslösen. Flüssiger Text taugt deshalb nicht als Prüfmaßstab. Entscheidend ist, ob jede Schlussfolgerung belegt ist, jede Zahl nachvollziehbar bleibt und jede Empfehlung im Mandat liegt. Das Raster mit 54 Kriterien macht diese Prüfung maschinell ausführbar. Das vage Gefühl eines erfahrenen Investors, ein Bericht sei verlässlich, wird zu einer Liste von Punkten, die sich einzeln abhaken lassen. Das Verfahren heißt LLM-as-a-judge und hat eine bekannte Schwäche: Auch der Richter kann irren. Solche Modelle bevorzugen oft lange Antworten, lassen sich von selbstsicheren Formulierungen beeinflussen und übersehen Vorgaben, die nur implizit gelten. Was bedeutet es, dass der Eval Agent mit GPT-6.1 Sol 25 % mehr Mandatsabweichungen findet? Solche Verstöße gehören zu den am schwersten auffindbaren Fehlern. Sie zeigen sich selten als ein falscher Satz. Meist überschreitet ein einzelner Schritt in der Argumentationskette unbemerkt eine Grenze. Mehr Treffer deuten darauf hin, dass das neue Modell lange Vorgabenlisten besser im Blick behält und jede Ausgabe damit abgleicht. Die Quelle beschreibt den Mechanismus nicht, diese Deutung ist also eine Schlussfolgerung.

Die Übereinstimmungsquote von 88,6 % beantwortet eine andere Frage: Ist der Bewerter überhaupt vertrauenswürdig? Weichen Bewerter und Experten oft voneinander ab, entlastet automatische Bewertung die manuelle Prüfung nicht. Eine Quote nahe 89 % spricht dafür, dass er Routinevorprüfungen übernehmen kann. Wie sich die übrigen 11,4 % auf übersehene Verstöße und Fehlalarme verteilen, bleibt offen, und gerade das ist für die Risikokontrolle wichtig.

Branchenwirkung

Für Unternehmen, die KI im Finanzwesen bauen, zeigt der Fall eine Verschiebung des Wettbewerbs. Die Frage lautet immer weniger, wessen Antworten klüger wirken, sondern wer belegen kann, dass seine Antworten verlässlich sind. Fonds, Broker und Vermögensverwalter, die Agentenprodukte einkaufen, achten auf Prüfpfade, wiederholbare Kontrollen und Dokumentation. Eine beeindruckende Demo zählt für sie weniger als ein Verfahren, das sich nachprüfen lässt.

Ein automatisches Bewertungssystem, das am Urteil von Experten ausgerichtet ist, beschleunigt zudem die Entwicklung. Jede Änderung an Prompt, Werkzeugkette oder Basismodell lässt sich sofort bewerten, und das Team sieht, welche Rasterpunkte besser und welche schlechter wurden. Die Erfahrung der Experten wird so zu einem wiederverwendbaren Bestand, statt nur in den Köpfen zu liegen.

Für Modellanbieter ist die Geschichte nützlich. Bewertung verlangt Lesen langer Kontexte, Abgleich mehrerer Bedingungen und gleichbleibende Urteile von Fall zu Fall. Genau diese Fähigkeiten will ein Flaggschiffmodell zeigen. Für Senior-Investoren und Compliance-Teams wirkt der Effekt doppelt: Sie können Routineprüfungen abgeben und sich auf Grenzfälle konzentrieren. Ihre Urteile werden aber zum Maßstab des gesamten Systems, sodass Inkonsistenzen in ihren Bewertungen in den Bewerter einfließen. Wettbewerber können die Erzeugungsseite leicht kopieren. Schwerer nachzubauen sind ein hochwertiges Raster, von Experten annotierte Daten und ein Bewertungsprozess, der zum Mandat des jeweiligen Hauses passt.

Ausblick

Mehrere Punkte verdienen Aufmerksamkeit. Erstens eine vollständigere Offenlegung: Stichprobengröße, Uneinigkeit unter den Gutachtern, Vergleiche mit anderen Modellen sowie die Quoten falscher Alarme und übersehener Verstöße des Bewerters. In der Risikokontrolle kostet ein verpasster echter Verstoß weit mehr als ein zusätzlicher Fehlalarm, daher genügt die Übereinstimmungsquote allein nicht. Zweitens stellt sich die Frage, ob Bewerter und Erzeuger aus derselben Modellfamilie stammen. Verwandte Modelle können ähnliche Vorlieben und blinde Flecken teilen. Üblich ist, mit Modellen anderer Familien gegenzuprüfen. Wie Terminal X hier vorgeht, nennt die Quelle nicht. Drittens bleibt offen, ob sich das Raster an wechselnde Mandate anpasst. Jedes Haus hat eigene Klauseln. Erfordert jeder Kunde umfangreiche manuelle Überarbeitung, gerät die Skalierung ins Stocken. Lässt sich der Mandatstext direkt in Prüfpunkte übersetzen, ginge die Einführung deutlich schneller.

Viertens zählt die Haltung der Aufsicht. Nutzen Finanzinstitute Bewertungsergebnisse von Agenten als internen Compliance-Nachweis, werden Aufseher wohl fragen, ob die Bewertung selbst überprüfbar ist und vollständig protokolliert wird. Bewährt sich der Ansatz aus Expertenraster und Bewertungsagent, könnten ähnliche Konstruktionen in Recht, Medizin und Wirtschaftsprüfung folgen, wo Nachvollziehbarkeit ebenso zählt.