LLM-Klassifikator-Circuits: Adaptive Abfragen

Hintergrund

Große Sprachmodelle per Prompt klassifizieren zu lassen ist einfach. Ein Team legt die Probe in den Prompt, und das Modell liefert ein Label. Die Bequemlichkeit verdeckt ein Problem: Die Vorhersage ist unsicher, und sie ist nicht für jede Probe gleich zuverlässig. Übliche Auswege sind ein stärkeres Modell, mehrfaches Nachfragen oder die Kombination mehrerer Modelle. Jede zusätzliche Abfrage kostet Geld, und bisher fehlte ein systematischer Weg, um zu entscheiden, wie viel und wo man ausgibt.

Das Paper zu LLM-Klassifikator-Circuits, veröffentlicht auf arXiv, bietet eine andere Sicht. Es betrachtet jeden LLM-Klassifikator als verrauschtes Messinstrument für ein latentes wahres Label. Das wahre Label bleibt unbeobachtet. Jeder Aufruf eines Modells liefert eine verrauschte Messung davon. Verschiedene Modelle sind Instrumente mit unterschiedlicher Präzision und unterschiedlichem Preis. Das Ziel ist klar formuliert: die durchschnittliche Klassifikationsgenauigkeit bei gegebenen durchschnittlichen Abfragekosten zu maximieren.

Was ist ein LLM-Klassifikator-Circuit? Ein LLM-Klassifikator-Circuit ist eine adaptive Folge aus Abfragen und Entscheidungen über mehrere LLM-Klassifikatoren. Bisherige Antworten bestimmen, welches Modell als Nächstes gefragt wird oder ob direkt ein Label ausgegeben wird. Die Autoren schlagen diese Struktur als allgemeine Form vor, um Modelle zu kombinieren.

Tiefenanalyse

Der Kern der Idee ist Adaptivität. Ein einfaches Ensemble fragt alle Modelle und stimmt dann ab. Ein Circuit tut das nicht. In jedem Schritt wählt er zuerst, welchen Klassifikator er aufruft. Nachdem er die Antwort gelesen hat, entscheidet er, ob er sicher genug für ein endgültiges Label ist oder ob er nachfragen soll. Eine einfache Probe kann nach einer einzigen günstigen Abfrage enden. Eine schwierige Probe kann weitere Abfragen oder stärkere Modelle erhalten. Diese Sichtweise ordnet die gängigen Baselines in einen größeren Entwurfsraum ein. Routing wählt für jede Probe ein Modell. Cascading eskaliert in fester Reihenfolge durch die Modelle. Beides lässt sich als eingeschränkte Form der adaptiven Abfragestruktur lesen, und ein Circuit hat mehr Freiheit als beide. Die Quelle beschreibt den Circuit als Folge, in der jede nächste Handlung von den bereits erhaltenen Antworten abhängt. Das Paper geht über den Vorschlag der Struktur hinaus. Laut Abstract beschreiben die Autoren die Form des optimalen Circuits. Sie leiten außerdem fundamentale Grenzen der Genauigkeit her, die sich bei gegebenen Kosten erreichen lässt. Dazu geben sie praktische Hinweise, wie man Circuits baut, die dem Optimum nahekommen. Das Abstract nennt weder Trainingsverfahren noch Implementierungsdetails. Diese Punkte sollten daher im Volltext geprüft werden.

Die Messperspektive ist aus einem zweiten Grund wichtig. Sobald ein Klassifikator ein verrauschtes Instrument ist, wird die Aufgabe zur Frage, wie viele Messungen man mit welchem Instrument nimmt. Das ist ein Optimierungsproblem unter Kostenbeschränkung. Es ersetzt das Ausprobieren von Modellkombinationen durch eine Frage mit definiertem Optimum und definierter Obergrenze.

Branchenwirkung

Die Auswertung umfasst sieben Klassifikationsaufgaben aus Sicherheit, Gesundheit, Politikwissenschaft, menschlichen Präferenzen, Agentenbewertung, Entscheidung und Schlussfolgern. Die Aufgaben unterscheiden sich in der Bedeutung der Labels, der Textform und den Stärken der Modelle. Mehrere stehen dem Muster LLM-as-Judge nahe, etwa die Vorhersage menschlicher Präferenzen und die Bewertung von Agenten. Bewertungspipelines in Industrie und Open-Source-Community stützen sich auf dieses Muster. Der Maßstab ist die Kosten-Genauigkeits-Front. Sie fragt, welche Methode bei gleichen durchschnittlichen Abfragekosten genauer ist oder bei gleicher Genauigkeit günstiger. Gegenüber den Baselines Routing und Cascading melden die Autoren im Abstract, dass Circuits beide auf dieser Front über die Aufgaben hinweg übertreffen. Das Abstract nennt keine Zahlen zur Größe des Gewinns und führt keine Ablationen auf. Dieser Beitrag behauptet deshalb keine konkrete Verbesserung und keinen Anteil einzelner Komponenten.

Die Theorie liefert einen Bezugspunkt, der vielen Benchmark-Arbeiten fehlt. Weil das Paper Grenzen der erreichbaren Genauigkeit herleitet, kann man ein produktives System mit der Schranke vergleichen. So zeigt sich, wie viel Spielraum bleibt. Ein Team nahe an der Grenze kann den Aufwand für Routing-Logik einstellen. Ein Team weit davon entfernt hat einen klaren Grund für adaptive Abfragen. Für Teams, die Inhaltsmoderation, gesundheitsbezogene Vorprüfung oder automatisierte Bewertung betreiben, ist die praktische Botschaft direkt. Alles an das stärkste Modell zu schicken ist zu teuer. Nur auf ein günstiges Modell zu setzen lässt die Zuverlässigkeit offen. Ein Circuit verwendet mehr Abfragen auf unsichere Proben und weniger auf eindeutige. Genau diesen Ausgleich formalisiert das Paper.

Ausblick

Mehrere Fragen bleiben offen, und das Abstract beantwortet sie nicht. Eine betrifft die Abhängigkeit zwischen den Ausgaben der Modelle. Modelle mit ähnlichen Trainingsdaten können bei denselben Proben irren, und das Bild unabhängiger verrauschter Messungen wäre dann zu einfach. Das Abstract sagt nicht, wie das Framework diesen Fall behandelt. Eine zweite Frage ist die Verteilungsverschiebung. Ein Circuit wird für ein Kostenniveau und eine Aufgabe abgestimmt. Ändert sich die Mischung der Proben, kann sich auch die beste Abfragefolge ändern. Das Paper liefert praktische Hinweise zum Bau von Circuits, doch das Abstract nennt nicht, wie ein eingesetzter Circuit sich im Zeitverlauf anpassen soll.

Ein dritter Punkt ist die Übertragung auf weitere Aufgaben. Die sieben Aufgaben bilden einen breiten Test, aber jeder Einsatz hat eigene Labels, eine eigene Kostenstruktur und einen eigenen Modellpool. Leser sollten im Volltext die genauen Baselines, die Kostendefinitionen und die Größe der Verbesserungen prüfen, bevor sie sich auf das Ergebnis stützen. Die zentrale Aussage bleibt klar. Bessere LLM-Klassifikation erfordert nicht immer ein größeres Modell. Wie ein Team seine Abfragen organisiert, kann die Genauigkeit bei festen Kosten erhöhen, und dieses Paper liefert dafür sowohl eine Methode als auch eine Schranke.