Ai2 veröffentlicht StateBench, einen vierstufigen Benchmark für Zustandsverfolgung im langen Kontext: Spitzenmodelle brechen bei selbstbezüglichen und allgemeinen Aufgaben mit wachsender Länge ein, direkt trainierte Hybrid- und GDN-Modelle verallgemeinern weiter, alle Aufgaben sind jedoch synthetisch

Am 3. November 2026 veröffentlichte das Allen Institute for AI (Ai2) im Hugging-Face-Blog einen Beitrag zu StateBench, einem Benchmark für Zustandsverfolgung im langen Kontext, also dafür, wie gut Sprachmodelle Informationen über Entitäten in langen Dokumenten verfolgen, während sich diese verändern. Der technische Bericht liegt auf arXiv (2611.03094, am 2. November eingereicht von Jackson Petty, William Merrill und Ashish Sabharwal), die Daten auf Hugging Face, der Code auf GitHub. Vorab ein wichtiger Punkt: Die Aufgaben dieses Benchmarks sind synthetische Folgen von Variablenzuweisungen, keine echten Dokumente; die Ergebnisse beschreiben also das Verhalten bei kontrollierten Aufgaben und sind keine Fehlerrate im realen Einsatz.

StateBench hat vier Schwierigkeitsstufen, die sich auf Variablenzuweisungen in der Programmierung abbilden lassen. R-triviale Aufgaben nutzen unveränderliche Zuweisung: Der Wert ändert sich nie, das Modell muss nur den ursprünglichen Wert finden, wie ein Geburtsdatum. Aperiodische Aufgaben erlauben Neuzuweisung nach Wert, es braucht den jüngsten Wert, wie die Einstellung eines Thermostats. Lösbare Aufgaben fügen selbstbezügliche Updates hinzu, bei denen jedes Update auf dem aktuellen Wert aufbaut, wie ein Spielstand. Allgemeine endliche Aufgaben fügen Zuweisung per Referenz hinzu, bei der eine Variable den aktuellen Wert einer anderen annimmt, etwa beim Vertauschen zweier Variablen, wie ein Zauberer, der einen Ball unter einem von fünf Bechern versteckt und die Becher immer wieder vertauscht. Das ist das S5-Problem, die schwerste Stufe. Die Stufen spiegeln auch theoretisch begründete Unterscheidungen aus der Krohn–Rhodes-Theorie. Für einen fairen Vergleich gehen die Forschenden von einer allgemeinen endlichen Folge aus und leiten drei leichtere Fassungen mit gleicher Variablenzahl, gleichen verschiedenen Werten und gleichen Zuweisungspositionen ab, sodass sich nur die Art der Zuweisung ändert. Dasselbe Problem wird außerdem in mehreren Formaten gestellt, etwa als RULER-artige Prompts und als Tabellenänderungen.

Der erste Test nutzte offene vortrainierte Modelle: zwei Modelle mit 7 Milliarden Parametern, Olmo 3 (ein Transformer) und Olmo Hybrid (mit zusätzlichen Gated-DeltaNet-Schichten, kurz GDN), sowie kleinere Modelle mit 275 Millionen und 2,7 Milliarden Parametern. Alle wurden mit denselben Daten vortrainiert, keines sah im Training Kontexte über 64.000 Token, und die meisten wurden weit darüber hinaus getestet. Fast alle Modelle waren bei R-trivialen Aufgaben gut, verloren bei aperiodischen mit wachsender Eingabe an Genauigkeit und blieben bei allgemeinen endlichen Aufgaben auf Zufallsniveau. Das Format spielte eine Rolle: Die Hybrid- und GDN-Modelle mit 275 Millionen Parametern erreichten bei R-trivialen Aufgaben im RULER-Stil fast die Höchstwerte, aber nur Zufallsniveau bei denselben Aufgaben als Tabellenänderungen. Diese Lücke ist ein Grund, warum StateBench dasselbe Problem in mehreren Formaten stellt.

Der zweite Test nutzte vier Spitzenmodelle, Gemini 3.8 Flash, Claude Opus 5.5 sowie GPT-6 Sol und Luna, die jede Folge von Variablenzuweisungen lesen und den Endwert jeder Variable schreiben sollten. Alle vier waren bei R-trivialen und aperiodischen Aufgaben gut. Bei lösbaren und allgemeinen endlichen Aufgaben sank die Genauigkeit mit wachsender Eingabe stark, bei den längsten allgemeinen endlichen Aufgaben auf 13 % oder weniger. Der Beitrag nennt als wahrscheinlichen Faktor die Sensitivität: Auf den schwereren Stufen können viel mehr Schritte die Endantwort verändern, sodass ein übersehenes Update das Ergebnis eher verdirbt. Zu Denkeinstellungen, Wiederholungen oder Werkzeugnutzung dieser Läufe macht der Beitrag keine Angaben, obwohl sie jeden Vergleich beeinflussen würden.

Der dritte Test war direktes Training. Die Forschenden trainierten mehrere Modelle mit 275 Millionen Parametern von Grund auf: zwei Transformer-Varianten, zwei Hybride und zwei GDN-Varianten mit unterschiedlichen Beschränkungen des Speicher-Updates. Trainingsfolgen hatten bis zu 256 Zuweisungen, getestet wurde bis 64.000, also dem 250-Fachen der maximalen Trainingslänge. Mit wachsender Länge gingen die Architekturen auseinander. GDN- und Hybridmodelle verallgemeinerten bei R-trivialen, aperiodischen und lösbaren Aufgaben bis zu den längsten getesteten Folgen, Zehntausenden Zuweisungen, nahezu perfekt. Transformer lernten die leichteren Stufen, verschlechterten sich aber bei längeren Folgen und lernten allgemeine endliche Aufgaben nie. Auf der schwersten Stufe verallgemeinerte die GDN-Variante mit flexiblerem Speicher-Update am weitesten und blieb bis etwa zum Zehnfachen der längsten Trainingsfolge nahezu perfekt. Der Beitrag folgert, dass die Lücke bei GDN- und Hybridmodellen eher am Training als an der Architektur liegt, da sie bei direktem Training Stufen bewältigten, die ihre vortrainierten Gegenstücke nicht schafften, während Transformer die schwerste Stufe auch bei direktem Training nie lernten.

Der Beitrag nennt auch offene Fragen. Ein neuer Beweis zeigt, dass ein GDN mit begrenzterem Speicher-Update, also nichtnegativen Eigenwerten, alle aperiodischen Aufgaben und bestimmte periodische Aufgaben lösen kann, etwa ob eine wiederholte Eingabe gerade oder ungerade oft vorkam, bei der festen Genauigkeit mit Rundung, die das Papier annimmt. Der Beitrag sagt „nichtnegative Eigenwerte“, die arXiv-Zusammenfassung „positive Eigenwerte“; die beiden Formulierungen weichen ab und werden hier wie geschrieben wiedergegeben. Seine genaue Stellung in der Hierarchie bleibt offen, auch ob er alle lösbaren Aufgaben löst und welche Rolle numerische Genauigkeit oder die Kombination mit Attention-Schichten spielt. StateBench nimmt zudem eine feste Zahl von Variablen an, während reale Aufgaben oft neue Entitäten einführen, etwa in einem langen Gespräch, in dem neue Personen und Gegenstände auftauchen; diesen Fall deckt der Rahmen bisher nicht ab.