Die Bewerter bewerten: Eine Hierarchie der Verifikationsautonomie für LLM-Schließen (L0–L5)

Hintergrund

Große Sprachmodelle werden heute zunehmend mit einem wachsenden Ökosystem von Verifikatoren kombiniert, die jeweils beanspruchen, Fehler des Modells aufzudecken. Schrittverifikatoren prüfen die Argumentation Schritt für Schritt, Selbstkonsistenzfilter stützen sich auf die Mehrheitsentscheidung mehrerer Stichproben, werkzeugbasierte Faktenprüfung ruft externes Wissen ab und formale Beweisassistenten verlangen streng abgeleitete Schlüsse. Trotz dieser Unterschiede stellen die Autoren fest, dass der Begriff „Stufe“ in der Verifikationsliteratur in echtem Durcheinander verwendet wird und mindestens fünf verschiedene Bedeutungen zugleich trägt: Verifikationsgranularität, konzeptionelle Abstraktion, Risikostufe, System-Stack-Stufe und die epistemische Quelle der Wahrheit.

Um dieses Durcheinander aufzulösen, führen die Autoren die Verifikationsautonomie-Leiter (VAL) ein, eine Taxonomie entlang einer einzigen Achse, die sich an zwei Kernfragen orientiert: Woher stammen die Verifikations specifications, und was können ihre Schlusses garantieren? Die Herkunft der specification bestimmt den Autonomiegrad. Wenn die Regeln aus den eigenen Behauptungen des Modells stammen, bleibt das Schema bei L0 ohne deterministischen Anker. Wenn sie auf objektiver Wahrheit ruhen, erreicht es L2 und garantiert nur Korrektheit. Wenn sie aus formalen specifications eines entscheidbaren Systems hervorgehen, betritt es L3 und L4.

Die Stärke eines Schlusses bildet die zweite Achse. Korrektheit ist die schwächste Garantie, Vollständigkeit das stärkere Versprechen. Die Autoren weisen auf eine lange unausgesprochene Unterscheidung hin: Vollständigkeit ist nur für Eigenschaften erreichbar, die eine formal specification zulassen, während die empirische Open-World-Verifikation—Faktenprüfung, medizinische Diagnostik—am verankerten Korrektheitsversprechen von L2 verbleibt. Dies erklärt, warum Systeme, die „vollständige Verifikation“ versprechen, in der Praxis nur eine partielle Korrektheit liefern.

Tiefenanalyse

VAL ist bewusst kein weiterer Verifikator, sondern ein Klassifizierungs- und epistemischer Rahmen. Seine wichtigste Einsicht ist die Vollständigkeitsblindstelle: auf Substitution und Stichprobe basierende Verifikatoren können bestätigen, dass ein vorgeschlagener Kandidat gilt, aber nicht beweisen, dass kein Kandidat übersehen wurde. Die Bestätigung, dass die bestehenden Kandidate korrekt sind, ist nicht dasselbe wie die Bestätigung, dass keiner übersehen wurde—eine Unterscheidung, die durch den gesamten Text führt.

Die Autoren trennen zudem vier Dimensionen, die mit dem Stufenbegriff lange verwoben waren. Sie zeigen, dass Granularität, konzeptionelle Hierarchie, Risiko und System-Stack-Stufe orthogonal zu VAL stehen: keine enthält oder impliziert die andere. Diese Zerlegung löst die systematische begriffliche Verwirrung auf, die die Autoren über 17 untersuchte Arbeiten identifizieren, und spaltet die fünf einst zusammengefassten Bedeutungen erneut auf.

Das Argument wird in vier divergenten Bereichen entwickelt. Symbolische Mathematik und Code-Generierung liegen nahe dem entscheidbaren, specifiablen Ende des Spektrums, während medizinische Diagnostik und Verhaltensüberwachung zur empirischen Open-World-Verifikation gehören. Die Autoren bewerten die Schemata in jedem Bereich und prüfen die Erklärungskraft von VAL an der stärksten verfügbaren formalen Verifikations-Baseline. Bemerkenswerterweise geben die Autoren zu, dass der Verifikator dieser Baseline „nur die Korrektheit in jedem Schritt betrachtet“—genau das von VAL vorhergesagte verankerte Korrektheitsversprechen, selbst innerhalb des strengsten verfügbaren formalen Systems.

Branchenwirkung

Für die Open-Source-Gemeinschaft veröffentlichen die Autoren Code und eine vollständige Bewertung als ergänzendes Material, sodass Forscher ihre eigenen Verifikatoren gegen VAL neu prüfen können, anstatt sich auf vage Ansprüche, „zuverlässiger“ zu verlassen. Für die industrielle Bereitstellung hilft der Rahmen Ingenieurteams dabei, nüchterner zu entscheiden: ein Verifikator, der nur Korrektheit garantiert, kann nicht sagen, ob ein Fehler übersehen wurde, und Vollständigkeit gilt nur innerhalb formalisierbarer Bereiche, sodass blindes Vertrauen in die „Vollständigkeit“ eines Systems echtes Risiko birgt.

Für die folgende Forschung verwertet VAL die langjährig unscharf behandelte Frage, was Verifikation erreichen kann, in Etwas Analysierbares, Messbares und Vergleichbares um. Sie lenkt die Arbeit tatsächlich erreichbaren Zielen zu—Vollständigkeit bei specifiablen Eigenschaften zu verfolgen oder in Open-World-Szenarien ehrlich eine L2-Obergrenze zu kennzeichnen. Sie warnt zugleich vor Systemen, die „vollständige Verifikation“ bewerben, da die Vollständigkeitsblindstelle bedeutet, dass bestätigte Kandidate niemals einen erschöpfenden Nachweis darstellen.

Diese Warnung hat direkte Konsequenzen für sicherheitskritische Kontexte wie medizinische Diagnostik und Code-Generierung. Zusammengelegt legt die Arbeit eine konzeptionelle Grundlage für das schnell wachsende Feld der LLM-Schließenverifikation, mit einem Einfluss, der voraussichtlich Verifikationsdesign, -bewertung und -bereitstellung gleichermaßen erreichen wird.

Ausblick

Die zentrale Behauptung der Arbeit lautet, dass die wahre Grenze der Verifikationsfähigkeit von der specification-Herkunft und der Garantestärke gesetzt wird, nicht von den Stufen-Labels, zu denen Menschen gewohnheitsmäßig greifen. VAL bietet eine geteilte konzeptionelle Sprache, die es ermöglicht, verschiedene Arbeiten präzise zu beschreiben statt sie zusammenzuwerfen, und sie rahmt Vollständigkeit als bedingten Gewinn um, der nur dort verfügbar ist, wo Eigenschaften formal specifizierbar sind.

Zukünftig lädt der Rahmen zu empirischer Arbeit ein, die bestehende Verifikatoren auf die Leiter abbildet, um verborgene L2-Obergrenzen bloßzustellen, sowie zu theoretischer Arbeit, die specifiablen Eigenschaften eine breitere L3- und L4-Abdeckung verschafft. Die eigene Zugebung der Autoren, dass selbst die stärkste formale Baseline bei der Korrektheit aufhört, deutet darauf hin, dass echte Vollständigkeit ein schmales precious Gut bleiben wird, statt eine allgemeine Eigenschaft zu sein.

Ob VAL zur gemeinsamen Sprache der Gemeinschaft wird oder eine Taxonomie unter vielen bleibt, hängt von der Adoption ab. Feststeht ist ein klarerer Standard dafür, zu fragen, was ein Verifikator versprechen kann und nicht—und zu erkennen, dass die Bestätigung, ein Kandidat gelte, niemals dasselbe ist wie die Bestätigung, dass nichts übersehen wurde.