Was sollten Weltmodelle vergessen? Gestufte Retention für kontinuierliche Anpassung

Dieser Beitrag auf arXiv (2610.03713) stellt eine scheinbar kleine Frage mit großer Wirkung: Was soll ein Weltmodell vergessen, das sich fortlaufend anpasst? Die Autoren behaupten, dass die Bewertungsgewohnheiten des kontinuierlichen Lernens für Weltmodelle nicht gelten. Vorab ein Hinweis zum Umfang. Dieser Bericht beruht allein auf dem Abstract. Das Abstract nennt keine konkreten Zahlenergebnisse, deshalb erfinden wir keine. Wir analysieren die Konzepte, den Mechanismus und die Bewertungsthese, die der Beitrag vorlegt. 1. Woher das Problem kommt Im klassischen kontinuierlichen Lernen ist das Vorhersageziel stationär. Das Bild einer Katze zeigt heute eine Katze und in zehn Jahren auch. Unter dieser Bedingung ist ein Genauigkeitsverlust auf einer alten Aufgabe ein klares Signal für Versagen. Das Fachgebiet nennt es katastrophales Vergessen. Fast alle Vergessensmetriken, etwa das mittlere Vergessen oder der Rückwärtstransfer, beruhen auf dieser Prämisse: Je näher die alte Leistung am ursprünglichen Niveau bleibt, desto besser das Modell.

Weltmodelle sind anders. Ihr Ziel ist die Umgebung selbst, und die Umgebung ändert sich. Ein Lager stellt seine Regale um. Eine Kreuzung bekommt eine neue Ampel. Der Greifer eines Roboters verschleißt, und seine Dynamik verschiebt sich. Was das Modell früher gelernt hat, »das Regal steht links«, war damals richtig und ist jetzt falsch. Das Modell, das an der alten Antwort festhält, hat den eigentlichen Defekt. In diesem Umfeld ist Vergessen ein gefordertes Verhalten und kein Fehler. 2. Die Kernthese: Retention, gestuft nach Invarianz-Zeitskala Die Autoren führen aus, dass das Wissen in einem Weltmodell nicht einheitlich ist. Eine Klasse darf nie revidiert werden: die Gesetze der Physik, die Richtung der Schwerkraft, die Objektpermanenz, nach der ein verdecktes Objekt nicht verschwunden ist. Eine andere Klasse sind instanzbezogene Fakten, etwa die Anordnung eines Raums oder der aktuelle Zustand einer Maschine. Diese sollen bald nach einer Änderung der Umgebung neu geschrieben werden. Dazwischen liegt ein mittleres Band von Wissen, das sich unterschiedlich schnell ändert.

Das meint »gestufte Retention«. Die Retentionsregel hängt von der Invarianz-Zeitskala der jeweiligen Wissensschicht ab. Je näher Wissen an einer echten Invariante liegt, desto strenger die Anforderung, und Revision muss gesperrt sein. Je näher es an einer konkreten Instanz liegt, desto lockerer die Anforderung, und Revision soll gefördert werden und schnell erfolgen. Der Beitrag merkt an, dass Nachbarfelder nicht stationäre Wahrheit schon untersuchen. Die Literatur zum Concept Drift befasst sich mit sich verschiebenden Datenverteilungen. Arbeiten zur zeitlichen Faktizität von Sprachmodellen behandeln Fakten, die verfallen, etwa wer ein Amt innehat. Für Weltmodelle hat aber niemand das Problem formuliert. Diese haben eine Besonderheit: Sie kodieren auch Wissen, das nie revidiert werden darf. Ein Sprachmodell darf viele Fakten veralten lassen. Ein Weltmodell darf sein physikalisches Alltagswissen nicht verfallen lassen. 3. Warum die heutigen Metriken versagen Das Abstract enthält eine scharfe Aussage. Standardmetriken für Vergessen können zwei sehr verschiedene Modelle nicht unterscheiden. Das eine hat veraltetes Wissen korrekt revidiert. Das andere hat katastrophales Vergessen erlitten. Beide verlieren auf alten Daten an Genauigkeit, die Metrik sieht also dasselbe Signal. Schlimmer noch: Sie reiht ein vollständig eingefrorenes Modell ganz oben ein, weil es sich auf alten Daten gar nicht ändert. Ein Modell, das sich nie an die Umgebung anpasst, gewinnt den Wettbewerb. Das verfehlt den Zweck der Bewertung. Bestehende Benchmarks für physikalisches Schließen haben eine verwandte Lücke. Laut Abstract bewerten sie nur eingefrorene Checkpoints. Sie betrachten das Modell zu einem Zeitpunkt, nicht sein Verhalten entlang eines fortlaufenden Anpassungsstroms. Die kontinuierliche Anpassung selbst messen sie also nicht. 4. Differenzielle Retention: zwei Maße, keine Aggregation Die vorgeschlagene Bewertung heißt differenzielle Retention (differential retention). Sie verlangt über den gesamten Anpassungsstrom zwei Berichte nebeneinander. Erstens Regressionstests für Invarianten. In jeder Anpassungsphase prüft eine Testmenge zu Physik, Objektpermanenz und weiteren Invarianten, dass nichts beschädigt wurde. Das deckt die Regel ab: Was behalten werden muss, bleibt behalten.

Zweitens die Revisionslatenz. Wie lange braucht das Modell nach einer Änderung der Umgebung, bis es die betroffenen instanzbezogenen Fakten aktualisiert hat? Das deckt die Regel ab: Was vergessen werden muss, wird schnell vergessen. Entscheidend ist der Verzicht auf Aggregation. Fasst man beide zu einer Zahl zusammen, kann ein Modell auf einer Achse gut abschneiden, indem es die andere opfert. Ein eingefrorenes Modell erreicht bei den Invarianten die Höchstnote, bei der Revisionslatenz aber einen unbegrenzten Wert. Getrennte Berichte machen diesen Zielkonflikt sichtbar. Das passt zu einer breiteren Skepsis der Evaluationsforschung gegenüber einzelnen Gesamtwerten. 5. Folgen für Entwickler und Unternehmen Für Teams in Robotik, autonomem Fahren, digitalen Zwillingen und Agentensimulation liefert der Rahmen eine brauchbare Checkliste. Erstens: eine explizite Menge von Invarianten festlegen und daraus eine Regressionssuite bauen, die bei jedem Update läuft. Zweitens: Experimente entwerfen, die kontrollierte Umgebungsänderungen einspeisen, und die Revisionslatenz messen. Drittens: Bei der Wahl einer Methode für kontinuierliches Lernen nicht nur auf die Retention alter Aufgaben schauen. Eine Methode, die altes Wissen durch starke Regularisierung festhält, wirkt auf alten Daten gut, zeigt in diesem Protokoll aber eine hohe Revisionslatenz.

Für Benchmark-Entwickler ist die Verschiebung größer. Der Prüfgegenstand wechselt vom statischen Checkpoint zum Anpassungsstrom, also zum ganzen Weg eines Modells, das immer wieder aktualisiert wird. Das erhöht die Kosten. Man muss Folgen von Umgebungen mit kontrollierten Änderungen bauen und annotieren, welches Wissen neu geschrieben werden soll und welches nicht. 6. Grenzen und offene Fragen Erstens sind die Stufen schwer zu ziehen. Welches Wissen ist eine echte Invariante, und welches ist nur über lange Zeit stabil? Die Grenze ist nicht immer klar. Physik wirkt ewig, doch das Modell hält eine Näherung der Physik, und eine Näherung kann Korrekturen brauchen. Zweitens setzt das Messen der Revisionslatenz eine klare Markierung voraus, wann sich die Umgebung geändert hat. Im realen Einsatz sind Änderungen oft schleichend und unauffällig, und niemand sagt dem Modell, was geschehen ist. Drittens enthält das Abstract einen konzeptionellen Rahmen und eine Bewertungsthese, aber keine Zahlen. Der Wert eines solchen Positionspapiers liegt in der Neudefinition des Problems. Seine praktische Wirkung muss noch an konkreten Weltmodellen und Umgebungen gezeigt werden. Wer es zitiert, sollte das beachten.

7. Mögliche Entwicklung Wahrscheinliche Richtungen sind Benchmarks mit annotierten Änderungsereignissen für Weltmodelle. Eine weitere sind Architekturen, die Invarianten getrennt vom Instanzwissen speichern, etwa in getrennten Parameter-Unterräumen oder Speichermodulen. Eine dritte ist die Revisionslatenz als Trainingsziel. Weiter in der Zukunft muss ein Modell selbst beurteilen, welches Wissen verfallen ist, also erkennen, dass sich die Umgebung geändert hat. Das knüpft natürlich an die Erkennung von Concept Drift an. Kurz: Der Beitrag schlägt kein neues Netz vor. Er definiert das Problem und die Bewertungsregel neu. Er erinnert uns daran, dass wir bei einem Modell, das sich selbst aktualisiert, nicht mehr fragen sollten, wie viel es vergessen hat. Wir sollten fragen, ob es vergessen hat, was es vergessen soll, und sich noch an das erinnert, was es behalten muss.