Die fehlende Primitive: Mathematisches Schlussfolgern in LLMs diagnostizieren und reparieren

Hintergrund und Problemstellung

Große Sprachmodelle erzielen beeindruckende Ergebnisse bei den anspruchsvollsten mathematischen Benchmarks, von Olympiade-Aufgaben bis hin zur mehrstufigen Beweisunterstützung. Die reine Genauigkeit der Endantwort verrät jedoch wenig darüber, ob ein Modell wirklich ein strukturelles mathematisches Verständnis besitzt oder lediglich memorierte Muster kombiniert, die zufällig zum richtigen Ergebnis führen.

Dieser Beitrag führt den Begriff der "mathematischen Primitive" ein: die kleinste strukturelle Wissenseinheit, auf der eine Lösung beruht, etwa ein bestimmtes Lemma, eine Transformationstechnik oder eine entscheidende Zwischenkonstruktion. Darauf aufbauend schlagen die Autoren einen diagnostischen Benchmark vor, der mathematisches Schlussfolgern in vier unterschiedliche Fähigkeitsdimensionen zerlegt: Discovery (kann das Modell erkennen, welche Primitive ein Problem erfordert), Generation (kann es diese Primitive von Grund auf konstruieren), Digestion (kann es eine vorgegebene Primitive korrekt verinnerlichen) und Execution (kann es die verbleibende Berechnung ausführen, sobald die richtige Primitive vorliegt). Diese Zerlegung adressiert direkt einen seit langem bestehenden blinden Fleck des Feldes: Eine rein ergebnisbasierte Bewertung verdichtet vier grundverschiedene Fehlermodi zu einem einzigen Bestanden-oder-nicht-Signal, sodass Post-Training-Teams undifferenziert Daten nachschießen, ohne zu wissen, welche kognitive Stufe tatsächlich defekt ist.

Architektonischer Kern und technische Prinzipien

Die diagnostische Methodik verläuft in zwei Schritten. Im ersten Schritt, der Fähigkeitsprofilierung, wird derselbe Aufgabenpool unter zwei Bedingungen getestet: ohne Hilfe und mit explizit bereitgestellter korrekter Primitive, wobei die resultierende Genauigkeitslücke verglichen wird. Dadurch lassen sich zwei qualitativ unterschiedliche Fehlermodi trennen: ein Modell, dem die benötigte Primitive tatsächlich fehlt, gegenüber einem Modell, das Zugriff darauf hat, sie aber nicht korrekt ausführen kann. Im zweiten Schritt, der Engpasslokalisierung, wird der marginale Beitrag jeder der vier Dimensionen zur Gesamtgenauigkeit gemessen, während die übrigen konstant gehalten werden.

Drei Befunde stechen heraus. Erstens verdeckt die Gesamtgenauigkeit ein stark differenziertes Fähigkeitsprofil: Zwei Modelle mit nahezu identischer Endgenauigkeit können in Discovery, Generation, Digestion und Execution sehr unterschiedlich abschneiden. Zweitens zeigen Modelle, sobald die korrekte Primitive explizit bereitgestellt wird, einen sprunghaften Anstieg der nachweisbaren Ausführungsfähigkeit, was darauf hindeutet, dass ein großer Teil der latenten Rechenfähigkeit nicht durch Rechenunfähigkeit, sondern durch das Versagen beim Erkennen des richtigen Werkzeugs zurückgehalten wird. Drittens ist unter den vier Dimensionen Discovery der dominierende Engpass: Modelle scheitern häufig nicht am Rechnen selbst, sondern daran, zu erkennen, welche mathematische Primitive ein Problem überhaupt verlangt.

Praktische Evaluation und Anwendungen

Aufbauend auf diesen Diagnosen führen die Autoren eine Attributionsanalyse auf Post-Training-Ebene durch und zeigen, dass discovery-limitierte Fehler, also Fälle, in denen das Modell über Ausführungsfähigkeit verfügt, aber die benötigte Primitive nicht selbst identifizieren kann, überproportional leicht durch gezieltes Training behebbar sind, mit einer deutlich besseren Rendite auf die Trainingsinvestition als andere Fehlerkategorien.

Diese Erkenntnis motiviert ein primitiv-privilegiertes Selbstdistillationsframework: Anstatt wie beim klassischen Self-Distillation den gesamten Schlussfolgerungspfad undifferenziert zu übertragen, annotiert das Lehrermodell explizit, welche mathematische Primitive es in jedem Schritt verwendet, und nur dieses primitivgeleitete Schlussfolgerungssignal wird selektiv an das Schülermodell weitergegeben. Umfangreiche Experimente über mehrere Modellgrößen und anspruchsvolle mathematische Benchmarks zeigen, dass dieses Framework Baseline-Methoden durchgängig übertrifft, was das übergeordnete Paradigma "erst diagnostizieren, dann gezielt reparieren" gegenüber undifferenziertem Fine-Tuning bestätigt.

Branchenwirkung und Ausblick

Die Implikationen dieser Arbeit reichen weit über die Mathematik hinaus. Sie liefert eine übertragbare Methodik, um Black-Box-Post-Training-Abstimmung in eine gezielte Intervention zu verwandeln, die auf einem interpretierbaren Fähigkeitsprofil beruht.

Für Teams, die auf Schlussfolgerung ausgerichtete Modelle entwickeln, lautet die unmittelbare Erkenntnis: Erst diagnostizieren, ob Fehler aus Discovery, Generation, Digestion oder Execution stammen, bevor blind Trainingsdaten vergrößert oder Gedankenketten verlängert werden. Zukünftig könnte sich dieses vierdimensionale diagnostische Raster natürlich auf andere Bereiche ausdehnen, die während des Schlussfolgerns auf den Abruf strukturierten Wissens angewiesen sind, etwa Codegenerierung oder die Verifikation wissenschaftlicher Hypothesen, und sich so als Standardwerkzeug für die Qualitätsbewertung von Post-Training etablieren.