Ai2 publie StateBench, un banc d’essai à quatre niveaux pour le suivi d’état sur contexte long : les modèles de pointe chutent sur les problèmes auto-référents et généraux quand l’entrée s’allonge, les modèles hybrides et GDN entraînés directement généralisent plus loin, mais toutes les tâches sont synthétiques

Le 3 novembre 2026, l’Institut Allen pour l’IA (Ai2) a publié sur le blog de Hugging Face un article présentant StateBench, un banc d’essai du suivi d’état en contexte long, c’est-à-dire la capacité des modèles de langage à suivre les informations sur des entités qui évoluent dans de longs documents. Le rapport technique est sur arXiv (2611.03094, soumis le 2 novembre par Jackson Petty, William Merrill et Ashish Sabharwal), les données sont sur Hugging Face et le code sur GitHub. Un point d’abord : les tâches de ce banc sont des suites synthétiques d’affectations de variables, pas des documents réels ; les résultats décrivent donc un comportement sur des tâches contrôlées, pas un taux d’échec en usage réel.

StateBench comporte quatre niveaux de difficulté, qui correspondent à l’affectation de variables en programmation. Les problèmes R-triviaux utilisent une affectation immuable : la valeur ne change jamais, il suffit de retrouver la valeur initiale, comme une date de naissance. Les problèmes apériodiques autorisent la réaffectation par valeur : il faut la valeur la plus récente, comme le réglage d’un thermostat. Les problèmes solubles ajoutent des mises à jour auto-référentes, chacune s’appuyant sur la valeur courante, comme un score de jeu. Les problèmes finis généraux ajoutent l’affectation par référence, où une variable prend la valeur courante d’une autre, comme l’échange de deux variables, à la façon d’un magicien qui cache une balle sous l’un de cinq gobelets et les permute sans cesse. C’est le problème S5, le niveau le plus difficile. Les niveaux reflètent aussi des distinctions théoriques issues de la théorie de Krohn–Rhodes. Pour une comparaison équitable, les chercheurs partent d’une suite finie générale et en dérivent trois versions plus faciles, avec le même nombre de variables, les mêmes valeurs distinctes et les mêmes positions d’affectation : seul le type d’affectation change. Le même problème est aussi posé sous plusieurs formats, comme des invites de style RULER et des modifications de tableur.

Le premier test porte sur des modèles ouverts préentraînés : deux modèles de 7 milliards de paramètres, Olmo 3 (un transformeur) et Olmo Hybrid (qui ajoute des couches Gated DeltaNet, ou GDN), et des modèles plus petits de 275 millions et 2,7 milliards de paramètres. Tous ont été préentraînés sur les mêmes données, aucun n’a vu de contextes de plus de 64 000 jetons à l’entraînement, et la plupart ont été testés bien au-delà. Presque tous réussissent les problèmes R-triviaux, perdent en précision sur les apériodiques quand l’entrée s’allonge et restent au niveau du hasard sur les problèmes finis généraux. Le format compte : les modèles hybride et GDN de 275 millions de paramètres obtiennent presque le maximum sur les problèmes R-triviaux de style RULER, mais frôlent le hasard sur les mêmes problèmes présentés comme des modifications de tableur. Cet écart explique en partie pourquoi StateBench pose le même problème sous plusieurs formats.

Le deuxième test utilise quatre modèles de pointe, Gemini 3.8 Flash, Claude Opus 5.5, GPT-6 Sol et Luna, à qui l’on demande de lire chaque suite d’affectations et d’écrire la valeur finale de chaque variable. Tous réussissent bien les problèmes R-triviaux et apériodiques. Sur les problèmes solubles et finis généraux, la précision chute fortement quand l’entrée s’allonge, jusqu’à 13 % ou moins sur les plus longs problèmes finis généraux. L’article cite un facteur probable, la sensibilité : aux niveaux difficiles, bien plus d’étapes peuvent changer la réponse finale, et manquer une mise à jour compromet plus facilement le résultat. L’article ne donne ni réglages de raisonnement, ni nombre de répétitions, ni usage d’outils pour ces essais, alors que ces détails affecteraient toute comparaison.

Le troisième test est l’entraînement direct. Les chercheurs ont entraîné à partir de zéro plusieurs modèles de 275 millions de paramètres : deux variantes de transformeur, deux hybrides et deux variantes GDN aux contraintes de mise à jour de la mémoire différentes. Les séquences d’entraînement comptaient jusqu’à 256 affectations et les tests allaient jusqu’à 64 000, soit 250 fois la longueur maximale d’entraînement. Quand les séquences s’allongent, les architectures divergent. Les modèles GDN et hybrides généralisent presque parfaitement sur les problèmes R-triviaux, apériodiques et solubles jusqu’aux séquences les plus longues testées, des dizaines de milliers d’affectations. Les transformeurs apprennent les niveaux faciles mais se dégradent sur les séquences longues et n’apprennent jamais les problèmes finis généraux. Au niveau le plus difficile, la variante GDN à mise à jour de mémoire plus souple généralise le plus loin, restant presque parfaite jusqu’à environ 10 fois la plus longue séquence d’entraînement. L’article en conclut que, pour les modèles GDN et hybrides, l’écart relève de l’entraînement plutôt que de l’architecture, puisqu’entraînés directement ils traitent des niveaux que leurs équivalents préentraînés ne traitaient pas, alors que les transformeurs n’apprennent jamais le niveau le plus difficile, même entraînés directement.

L’article liste aussi des questions ouvertes. Une nouvelle preuve montre qu’un GDN à mise à jour de mémoire plus limitée, à valeurs propres non négatives, résout toutes les tâches apériodiques et certaines tâches périodiques, comme savoir si une entrée répétée est apparue un nombre pair ou impair de fois, dans l’arithmétique à précision fixe avec arrondi du papier. L’article dit « valeurs propres non négatives » alors que le résumé arXiv dit « valeurs propres positives » : les deux formulations diffèrent et sont rapportées telles quelles. Sa place exacte dans la hiérarchie reste ouverte, y compris la question de savoir s’il résout toutes les tâches solubles et le rôle de la précision numérique ou d’une combinaison avec des couches d’attention. StateBench suppose aussi un nombre fixe de variables, alors que les tâches réelles introduisent souvent de nouvelles entités, comme dans une longue conversation où apparaissent de nouvelles personnes et de nouveaux objets, et le cadre actuel ne couvre pas ce cas.