Ai2 publie ToyBlocks, un monde simulé ouvert de bras robotique : il génère automatiquement des démonstrations jusqu'à 24 fois le temps réel sur un GPU et un système hiérarchique dans la configuration la plus facile d’épellation de trois blocs, caractères visibles et droits a obtenu 50,0 % (15 sur 30) sans exemple dans le monde réel, mais l'échantillon réel est petit et les auteurs qualifient les constats d'initiaux

Le 6 novembre 2026, l'Allen Institute for AI (Ai2) a publié ToyBlocks sur le blog de Hugging Face, un cadre de simulation ouvert pour étudier la façon dont les robots apprennent, et avec lui l'idée de FoundationWorld. Un FoundationWorld associe un petit monde simulé et contrôlé à des outils qui génèrent automatiquement des tâches et des démonstrations d'entraînement, ainsi qu'à des mesures qui suivent le comportement d'un robot dans le temps. ToyBlocks est le premier : un bras robotique et des blocs sur une table. Ai2 compare l'idée à une boîte de Petri, un cadre où les chercheurs peuvent changer un seul paramètre, répéter le test et retrouver pourquoi un robot a échoué. L'article est le récit d'Ai2 lui-même, et ses constats sont présentés comme initiaux.

Le monde est simple exprès, mais pas trivial. Les blocs portent des images et des lettres sur leurs faces, si bien que les tâches comprennent chercher, trier et épeler des mots avec une pile, et qu'un robot peut devoir retourner un bloc pour voir une face cachée. La randomisation de domaine fait varier la taille des blocs, la hauteur de la table et d'autres propriétés d'une scène à l'autre. Des compétences comme pousser, retourner ou faire pivoter un bloc sont apprises en simulation par apprentissage par renforcement et planification de mouvement, dans l'Isaac Lab de NVIDIA, avec des informations privilégiées comme la pose exacte d'un bloc, qu'un vrai robot n'aurait pas. Un planificateur de tâches et de mouvements enchaîne ensuite les compétences en plans, et l'exécution des plans en simulation produit des démonstrations enregistrées avec des étiquettes, sans qu'une personne téléopère le robot. Ai2 dit que des centaines de plans s'exécutent en parallèle sur un seul GPU, jusqu'à 24 fois le temps réel. L'évaluation rapporte plus que des taux de réussite, comme la vitesse d'exécution, les forces exercées sur les objets et l'avancement de la tâche.

Les premières expériences testent des modèles d'action. Les modèles vision-langage-action transforment le langage et les images de caméra en mouvements de robot. Ai2 a testé ManiFlow, π0.5 et MolmoAct 2 sur des tâches nommées Stack, Unstack, Flip et Rotate, en entraînant sur une partie de l'espace et en testant sur de nouvelles positions ou hauteurs de pile. Dans les résultats initiaux, ces modèles généralisent mal malgré un préentraînement à grande échelle, et les auteurs décrivent des techniques qui améliorent la situation, tout en disant que la généralisation est loin d'être résolue. Pour la planification de haut niveau, un modèle vision-langage Molmo 2 choisit la compétence et le bloc, et un modèle de bas niveau comme ManiFlow l'exécute. Comme le cadre fournit des oracles aux deux niveaux, un échec peut être attribué à la planification ou à l'exécution.

Les systèmes agentiques ont été testés avec Claude Opus 5.5 agissant par des outils exposés via le Model Context Protocol. En empilement classique de blocs, l'agent a résolu les 30 tâches décrites en texte, ainsi que les 30 en observant les images de caméra en boucle fermée. Dans le cadre « chercher et épeler », l'agent devait composer des mots de trois lettres à partir d'au plus huit blocs, et la moitié des scènes étaient irréalisables parce qu'une lettre manquait, ce que l'agent devait signaler. Il a soit résolu la tâche, soit déclaré à juste titre qu'elle était impossible dans 63 % de ces tâches. Les erreurs venaient surtout de lettres qui se ressemblent, 13 %, et d'une mauvaise orientation de lettre dans une pile, 15 %. Dans un cadre distinct, où l'agent menait ses propres expériences et rédigeait ses propres descriptions de compétences, le taux de réussite est passé de 24 % avec les descriptions par défaut à 63 %, contre 36 % avec des descriptions rédigées par un expert humain. Ce sont des tâches différentes avec des dénominateurs différents, et le second 63 % n'est pas le premier.

Ai2 a aussi utilisé ToyBlocks pour comparer des modèles du monde, qui prédisent comment une scène change après l'action d'un robot. Pour quatre compétences, il a généré 900 trajectoires chacune, moitié réussies, moitié non, affiné trois modèles et les a comparés. Le modèle vidéo de 5 milliards de paramètres Wan 2.2 a le mieux prédit le mouvement des blocs et les résultats, un modèle agentique de simulateur physique appelé Astra suivait la pince mais peinait au contact, et un modèle latent appelé LeWM était rapide mais dérivait sur les trajectoires complètes. L'ajout de 100 déploiements générés par le meilleur modèle vidéo a fait passer le succès d'une politique dans une région non vue de 19 % à 78 %.

Le test de simulation vers réel est le plus important et le plus mince. Sur un bras Franka FR3 avec une pince Robotiq, sur trente configurations de scène, avec 4 à 10 blocs vus à l'entraînement, des modèles entraînés uniquement sur des données simulées ont été évalués sans nouvel entraînement sur le robot réel ; les paramètres du simulateur avaient auparavant été ajustés sur des trajectoires réelles. Le taux de réussite des compétences atomiques de ManiFlow était de 80,0 % en simulation et de 81,1 % dans le monde réel. Le système hiérarchique Molmo 2 plus ManiFlow, dans la configuration la plus facile d’épellation de trois blocs, caractères visibles et droits, a réussi dans 55,5 % des épisodes simulés, soit 111 sur 200, et dans 50,0 % des épisodes réels, soit 15 sur 30. Ai2 dit lui-même que davantage d'essais sont nécessaires pour une confiance statistique, et un épisode est compté comme un échec si un opérateur arrête le robot pour un mouvement dangereux.

Notre lecture : ToyBlocks ressemble à un banc d'essai utile et bien documenté, avec un pipeline de données en six étapes, des scripts d'entraînement pour ManiFlow, des outils d'évaluation et une interface web où Claude ou un autre modèle peut piloter le robot simulé. Sa valeur est un cadre contrôlé où l'on peut retracer les échecs, pas la preuve que les robots généralisent désormais. Il faut traiter tous les chiffres comme les résultats initiaux d'Ai2, issus d'un monde de blocs bien plus simple qu'une maison ou une usine, et noter que l'échantillon réel de 30 épisodes est petit. Nous n'avons pas exécuté le code ni reproduit aucun résultat.