Elastic Latent Recurrence (ELR): Ein Checkpoint, der mit einer Schleife ein gleich großes Standardmodell erreicht und mit jeder weiteren Schleife mehr Genauigkeit kauft

Die Idee eines „latent rekurrenten Sprachmodells“ ist direkt. Statt Dutzende getrennte Schichten zu stapeln, nutzt man einen kleinen Block von Schichten mehrfach, und jede zusätzliche Schleife kostet eine weitere Einheit Inferenzrechnung. Ein Checkpoint kann dann Geschwindigkeit gegen Genauigkeit tauschen: weniger Schleifen sind schneller, mehr Schleifen genauer. Es gab aber ein unangenehmes Problem. Mit einer Schleife liegt ein solches Modell meist klar hinter einem normalen nicht rekurrenten Modell gleicher Größe. Die Arbeit 2610.12582 nennt diese Lücke die „Ein-Schleifen-Steuer“ und merkt an, dass man bei Latenzbedarf ein eigenes nicht rekurrentes Modell wählen muss, was den Sinn von „ein Checkpoint, viele Einsatzzwecke“ zunichtemacht. Die vorgeschlagene Methode, Elastic Latent Recurrence (ELR), zielt darauf: Mit einer Schleife kostet das Modell im Betrieb so viel wie ein nicht rekurrentes Modell gleicher Größe und erreicht, auf denselben Daten trainiert, eine ähnliche Genauigkeit, und jede weitere Schleife kauft mehr Genauigkeit für mehr Inferenzrechnung.

Die Autoren führen die Wirkung auf drei Entscheidungen zurück. Erstens eine Zustandsaktualisierung mit Gattern und gelernter Schrittweite, sodass jeder Durchlauf einen kontrollierten Eingriff in einen bestehenden Zustand macht. Zweitens gemischte Schleifenzahlen in jedem Optimierungsschritt: Für jeden Mikrobatch wird eine Schleifenzahl gleichverteilt gezogen und der Verlust durch alle Anwendungen des Blocks zurückgerechnet. Um die Ein-Schleifen-Genauigkeit zu halten, wird ein rotierender Anteil der datenparallelen Ränge zu einer Schleife gezwungen, sodass eine Schleife eine Wahrscheinlichkeit von etwa einem Drittel hat, und die Gradienten von einer und mehreren Schleifen werden im selben Schritt gemittelt. Drittens wird jeder Durchlauf auf seinen Fortschritt in der Schleife und auf das Gesamtbudget konditioniert, sodass derselbe Block in verschiedenen Durchläufen Verschiedenes tun kann. Ablationen zeigen, dass die üblichen Alternativen die Ein-Schleifen-Genauigkeit nicht halten. Die ersten beiden Entscheidungen bewahren sie, die dritte senkt den Verlust bei jeder zusätzlichen Schleife.

Die Arbeit betrachtet auch die Kosten. Erstens lässt sich das Training mit gemischter Tiefe spät einführen, im letzten Viertel des Vortrainings, für geschätzt 16 % mehr Trainings-FLOPs als die Basis, und mit einer beim Wechsel hinzugefügten nullinitialisierten Konditionierung erreicht dieser späte Plan einen niedrigeren Verlust als Training mit gemischter Tiefe von Anfang an. Zweitens verkürzt bei MoE-Modellen die Wiederverwendung der Expertenzuweisungen der ersten Schleife in späteren Schleifen die Aktualisierungszeit mit gemischter Tiefe um 11,7 % ohne messbare Änderung der Genauigkeit. Drittens hält die Standard-Inferenz für jede Schleife einen eigenen Attention-KV-Cache, sodass der Speicher mit der Tiefe wächst. Im nachtrainierten Koi-4B liegen drei der sechs Attention-Schichten im rekurrenten Block, sodass vier Schleifen das 2,5-Fache des Ein-Schleifen-KV-Speichers brauchen, also 7,5 GiB gegen 3,0 GiB pro 128K-Token-Anfrage in BF16. Nur den KV-Cache der letzten Schleife zu behalten, braucht kein Nachtraining und hält den Attention-KV-Speicher bei jeder Schleifenzahl auf Ein-Schleifen-Größe, mit Punkteverlusten bei vier Schleifen von 0 bis 3 % gegenüber einem Cache je Schleife.

Die wichtigsten Ergebnisse: Bei 4B-Dense- und 30B-A3B-MoE-Hybridmodellen liegt ELR mit einer Schleife im Zehn-Aufgaben-Mittel 0,52 Punkte unter und 1,04 Punkte über der angepassten Basis, und vier Schleifen bringen 7,25 und 4,75 Punkte mehr. Beim 4B-Modell sind die größten Einzelgewinne GSM8K mit plus 11,8 Punkten und MATH-500 mit plus 11,3; beim 30B-A3B sind es MMLU-Pro mit plus 7,5 und GSM8K mit plus 6,5. Der Preis zeigt sich in der Latenz. Ein Durchlauf mit einer Schleife führt jede einzigartige Schicht genau einmal aus, daher entsprechen Zeit bis zum ersten Token und Decodierlatenz pro Token der nicht rekurrenten Basis. Jede zusätzliche Schleife wiederholt nur den rekurrenten Block, und beim 4B-Modell erreichen vier Schleifen die 2,33-fache Zeit bis zum ersten Token der Basis und die 2,06-fache Decodierlatenz. Drei Schleifen erreichen 96 % des Gewinns von einer bis vier Schleifen bei 1,87-fach. Durch das Nachtraining getragen, ergibt das Rezept einen einzigen Checkpoint, Koi-4B, der geschätzt 18 bei einer Schleife erreicht, wie Qwen3.5-4B, und 29 bei vier Schleifen, mit der Gewichtung des Artificial-Analysis-Intelligence-Index v4.1.

Wie ist das zu lesen? Erstens stammen alle Zahlen aus den Experimenten der Arbeit. Die Autoren sagen, die Werte für Koi-4B und die Vergleichsmodelle stammten aus ihrem eigenen Testrahmen und nicht von Artificial Analysis, könnten von veröffentlichten Zahlen abweichen, und Koi-4B habe keine angepasste nicht rekurrente Basis. Zweitens sind „mehr Schleifen für mehr Genauigkeit“ nicht umsonst. Latenz, Trainingskomplexität und Unterstützung im Betrieb zählen, und vier Schleifen mehr als verdoppeln die Zeit bis zum ersten Token. Drittens stammen die Ablationen überwiegend von kleineren Modellen, sodass die Skalierung spätere Prüfungen braucht. Doch wenn ein Produkt sowohl eine schnelle Antwort mit niedriger Latenz als auch mehrere Denkrunden bei schweren Fragen braucht, ist die Idee „ein Checkpoint, einstellbare Tiefe“ viel reizvoller, als zwei Modelle zu pflegen.