Que doivent oublier les modèles du monde ? Une rétention stratifiée pour l'adaptation continue

Cet article d'arXiv (2610.03713) pose une question modeste en apparence, mais lourde de conséquences : que doit oublier un modèle du monde qui s'adapte en continu ? Les auteurs affirment que les habitudes d'évaluation de l'apprentissage continu ne valent pas pour les modèles du monde. Une précision d'abord. Ce rapport s'appuie uniquement sur le résumé de l'article. Le résumé ne donne aucun résultat chiffré, et nous n'en inventons donc aucun. Nous analysons les concepts, le mécanisme et la thèse d'évaluation avancés par les auteurs. 1. D'où vient le problème En apprentissage continu classique, la cible de prédiction est stationnaire. Une image de chat montre un chat aujourd'hui, et encore dans dix ans. Dans ce cadre, une baisse de précision sur une ancienne tâche est un signal net d'échec, que le domaine appelle l'oubli catastrophique. Presque toutes les métriques d'oubli, comme l'oubli moyen ou le transfert arrière, reposent sur cette prémisse : plus la performance ancienne reste proche de son niveau initial, meilleur est le modèle. Les modèles du monde sont différents. Leur cible est l'environnement lui-même, et l'environnement change. Un entrepôt déplace ses étagères. Un carrefour reçoit un nouveau feu. La pince d'un robot s'use et sa dynamique évolue. Ce que le modèle a appris, « l'étagère est à gauche », était juste à l'époque et est faux aujourd'hui. Le modèle qui garde l'ancienne réponse porte le vrai défaut. Dans ce cadre, l'oubli est un comportement requis, pas une faille. 2. L'idée centrale : une rétention stratifiée par échelle de temps d'invariance Les auteurs soulignent que le savoir d'un modèle du monde n'est pas homogène. Une classe ne doit jamais être révisée : les lois de la physique, la direction de la gravité, la permanence des objets, selon laquelle un objet caché à la vue n'a pas disparu. Une autre classe regroupe des faits propres à une instance, comme l'agencement d'une pièce ou l'état actuel d'une machine. Ceux-là doivent être réécrits peu après le changement de l'environnement. Entre les deux, une zone intermédiaire change à des vitesses variées.

C'est le sens de la « rétention stratifiée ». La politique de rétention dépend de l'échelle de temps d'invariance de chaque couche de savoir. Plus un savoir est proche d'un vrai invariant, plus l'exigence de rétention est stricte, et la révision doit être bloquée. Plus il est proche d'une instance concrète, plus l'exigence est lâche, et la révision doit être encouragée et rapide. L'article note que des domaines voisins étudient déjà une vérité non stationnaire. La littérature sur la dérive conceptuelle traite des distributions de données qui bougent. Les travaux sur la factualité temporelle des modèles de langage traitent des faits qui expirent, par exemple qui occupe une fonction. Mais personne n'a formulé le problème pour les modèles du monde. Ceux-ci ont une particularité : ils encodent aussi des connaissances qui ne doivent jamais être révisées. Un modèle de langage peut laisser vieillir bien des faits. Un modèle du monde ne peut pas laisser se dégrader son sens physique commun.

3. Pourquoi les métriques actuelles échouent Le résumé avance un point tranchant. Les métriques d'oubli standard ne distinguent pas deux modèles très différents. L'un a révisé correctement un savoir périmé. L'autre a subi un oubli catastrophique. Tous deux perdent en précision sur les anciennes données, et la métrique voit donc le même signal. Pire, elle classe en tête un modèle entièrement figé, puisque ce dernier ne change en rien sur les anciennes données. Un modèle qui ne s'adapte jamais à l'environnement remporte la compétition. Cela trahit l'objet même de l'évaluation. Les bancs d'essai actuels de raisonnement physique ont une lacune voisine. Selon le résumé, ils n'évaluent que des points de contrôle figés. Ils regardent le modèle à un instant donné, pas son comportement le long d'un flux d'adaptation. Ils ne mesurent donc pas l'adaptation continue elle-même. 4. La rétention différentielle : deux mesures, aucune agrégation L'évaluation proposée s'appelle la rétention différentielle (differential retention). Elle demande deux rapports, côte à côte, sur tout le flux d'adaptation. Premièrement, des tests de régression des invariants. À chaque étape d'adaptation, un jeu de tests portant sur la physique, la permanence des objets et d'autres invariants vérifie que rien n'a été cassé. Cela couvre la règle : ce qui doit être retenu reste retenu.

Deuxièmement, la latence de révision. Après un changement de l'environnement, combien de temps le modèle met-il à mettre à jour les faits concernés ? Cela couvre la règle : ce qui doit être oublié l'est vite. Le point clé est l'absence d'agrégation. Si l'on fond les deux dans un score unique, un modèle peut acheter une bonne note sur un axe en sacrifiant l'autre. Un modèle figé obtient le maximum sur les invariants et une latence de révision sans borne. Des rapports séparés rendent cet arbitrage visible. Cela rejoint une méfiance plus large, dans la recherche en évaluation, envers les scores de synthèse uniques. 5. Impact pour les développeurs et les entreprises Pour les équipes en robotique, conduite autonome, jumeaux numériques ou simulation d'agents, le cadre fournit une liste de contrôle utilisable. D'abord, écrire un ensemble explicite d'invariants et en faire une suite de régression exécutée à chaque mise à jour. Ensuite, concevoir des expériences qui injectent des changements d'environnement contrôlés, et mesurer la latence de révision. Enfin, au moment de choisir une méthode d'apprentissage continu, ne pas se limiter à la rétention sur les anciennes tâches. Une méthode qui fige l'ancien savoir par une forte régularisation peut sembler bonne sur les anciennes données, mais révélera une latence de révision élevée dans ce protocole.

Pour les concepteurs de bancs d'essai, le changement est plus grand. L'objet testé passe du point de contrôle statique au flux d'adaptation, c'est-à-dire à tout le parcours d'un modèle mis à jour encore et encore. Le coût augmente. Il faut construire des séquences d'environnements aux changements contrôlés, et annoter quel savoir doit être réécrit et lequel ne doit pas l'être. 6. Limites et questions ouvertes D'abord, les strates sont difficiles à tracer. Quel savoir est un vrai invariant, et quel fait n'est que stable sur une longue durée ? La frontière n'est pas toujours claire. La physique paraît éternelle, mais le modèle en détient une approximation, et une approximation peut exiger une correction. Ensuite, mesurer la latence de révision suppose un repère net du moment où l'environnement a changé. En déploiement réel, le changement est souvent graduel et discret, et personne ne dit au modèle ce qui s'est passé. Enfin, le résumé expose un cadre conceptuel et une thèse d'évaluation, sans chiffres. La valeur d'un article de position de ce type tient à la redéfinition du problème. Son effet pratique reste à démontrer sur des modèles du monde et des environnements concrets. Le lecteur doit en tenir compte lorsqu'il le cite.

7. Pistes d'évolution Parmi les pistes probables : des bancs d'essai avec événements de changement annotés pour les modèles du monde ; des architectures qui stockent les invariants à part du savoir d'instance, par exemple dans des sous-espaces de paramètres ou des modules de mémoire distincts ; l'usage de la latence de révision comme objectif d'entraînement. Plus loin, le modèle devra juger lui-même quel savoir est périmé, c'est-à-dire détecter que l'environnement a changé, ce qui rejoint naturellement la détection de dérive conceptuelle. En bref, l'article ne propose aucun nouveau réseau. Il redéfinit le problème et la règle de notation. Il nous rappelle que, pour noter un modèle qui se met à jour seul, il faut cesser de demander combien il a oublié. Il faut demander s'il a oublié ce qu'il devait oublier, et s'il se souvient encore de ce qu'il doit retenir.