Ai2 veröffentlicht ToyBlocks, eine offene simulierte Roboterarm-Welt: Sie erzeugt Demonstrationen automatisch bis zum 24-Fachen der Echtzeit auf einer GPU, und ein hierarchisches System in die einfachste Drei-Block-Buchstabierkonfiguration mit sichtbaren, aufrechten Zeichen erreichte real im Zero-Shot 50,0 % (15 von 30), doch die reale Stichprobe ist klein und die Autoren nennen die Befunde vorläufig

Am 6. November 2026 veröffentlichte das Allen Institute for AI (Ai2) im Hugging-Face-Blog ToyBlocks, ein offenes Simulationsframework zur Erforschung, wie Roboter lernen, und damit die Idee einer FoundationWorld. Eine FoundationWorld verbindet eine kleine, kontrollierte simulierte Welt mit Werkzeugen, die Aufgaben und Trainingsdemonstrationen automatisch erzeugen, und mit Kennzahlen, die das Verhalten eines Roboters über die Zeit verfolgen. ToyBlocks ist die erste: ein Roboterarm und Blöcke auf einem Tisch. Ai2 vergleicht die Idee mit einer Petrischale, einem Rahmen, in dem Forschende eine Sache ändern, den Test wiederholen und zurückverfolgen können, warum ein Roboter scheiterte. Der Artikel ist Ai2s eigene Darstellung, und seine Befunde werden als vorläufig bezeichnet.

Die Welt ist absichtlich einfach, aber nicht banal. Die Blöcke tragen Bilder und Buchstaben auf ihren Flächen, daher gehören Suchen, Sortieren und das Buchstabieren von Wörtern mit einem Stapel zu den Aufgaben, und ein Roboter muss einen Block vielleicht drehen, um eine verborgene Fläche zu sehen. Domänen-Randomisierung ändert Blockgröße, Tischhöhe und andere Eigenschaften von Szene zu Szene. Fähigkeiten wie Schieben, Wenden oder Drehen eines Blocks werden in der Simulation mit bestärkendem Lernen und Bewegungsplanung in NVIDIAs Isaac Lab erlernt, unter Nutzung privilegierter Informationen wie der genauen Blockpose, die ein echter Roboter nicht hätte. Ein Aufgaben-und-Bewegungs-Planer verkettet die Fähigkeiten dann zu Plänen, und das Ausführen der Pläne in der Simulation erzeugt aufgezeichnete Demonstrationen mit Beschriftungen, ohne dass eine Person den Roboter fernsteuert. Ai2 sagt, Hunderte Pläne liefen parallel auf einer einzigen GPU, bis zum 24-Fachen der Echtzeit. Die Auswertung berichtet mehr als Erfolgsquoten, etwa Ausführungsgeschwindigkeit, auf Objekte wirkende Kräfte und Aufgabenfortschritt.

Die ersten Experimente testen Aktionsmodelle. Vision-Sprache-Aktion-Modelle wandeln Sprache und Kamerabilder in Roboterbewegungen um. Ai2 testete ManiFlow, π0.5 und MolmoAct 2 an Aufgaben namens Stack, Unstack, Flip und Rotate, trainierte auf einem Teil des Raums und testete auf neuen Positionen oder Stapelhöhen. In den ersten Ergebnissen verallgemeinern diese Modelle trotz Vortraining im großen Maßstab schlecht, und die Autoren berichten über Techniken, die das verbessern, sagen aber, die Verallgemeinerung sei weit von gelöst entfernt. Bei der übergeordneten Planung wählt ein Vision-Sprache-Modell Molmo 2 Fähigkeit und Block, und ein Modell der unteren Ebene wie ManiFlow führt aus. Weil das Framework auf beiden Ebenen Orakel liefert, lässt sich ein Scheitern der Planung oder der Ausführung zuordnen.

Agentensysteme wurden mit Claude Opus 5.5 getestet, das über Werkzeuge handelt, die per Model Context Protocol bereitgestellt werden. Beim klassischen Blockstapeln löste der Agent alle 30 textlich beschriebenen Aufgaben und ebenso alle 30, wenn er in einer geschlossenen Schleife Kamerabilder betrachtete. In der Variante Suchen und Buchstabieren musste der Agent aus bis zu acht Blöcken Wörter mit drei Buchstaben bauen, und die Hälfte der Szenen war unlösbar, weil ein Buchstabe fehlte, was der Agent sagen musste. Er löste die Aufgabe oder erklärte sie korrekt für unmöglich in 63 % dieser Aufgaben. Fehler lagen meist an ähnlich aussehenden Buchstaben, 13 %, und an falscher Buchstabenausrichtung im Stapel, 15 %. In einer getrennten Variante, in der der Agent eigene Experimente durchführte und eigene Beschreibungen seiner Fähigkeiten schrieb, stieg die Erfolgsquote von 24 % mit den Standardbeschreibungen auf 63 %, gegenüber 36 % mit von einem menschlichen Experten geschriebenen Beschreibungen. Das sind verschiedene Aufgaben mit verschiedenen Nennern, und die zweite 63 % ist nicht die erste.

Ai2 nutzte ToyBlocks auch, um Weltmodelle zu vergleichen, die vorhersagen, wie sich eine Szene nach einer Roboteraktion verändert. Für vier Fähigkeiten erzeugte es je 900 Trajektorien, zur Hälfte erfolgreich, zur Hälfte nicht, feinjustierte drei Modelle und verglich sie. Das Videomodell Wan 2.2 mit 5 Milliarden Parametern sagte Blockbewegung und Ergebnisse am besten voraus, ein agentisches Physiksimulator-Modell namens Astra folgte dem Greifer, tat sich aber mit Kontakt schwer, und ein latentes Modell namens LeWM war schnell, driftete aber über ganze Trajektorien. Das Hinzufügen von 100 vom besten Videomodell erzeugten Rollouts hob den Erfolg einer Strategie in einer ungesehenen Region von 19 % auf 78 %.

Der Sim-to-Real-Test ist der wichtigste und der dünnste. Auf einem Franka-FR3-Arm mit Robotiq-Greifer, über dreißig Szenenkonfigurationen mit 4 bis 10 im Training gesehenen Blöcken, wurden nur mit Simulationsdaten trainierte Modelle ohne weiteres Training am realen Roboter geprüft; Simulatorparameter waren zuvor an realen Robotertrajektorien kalibriert worden. Die Erfolgsquote der atomaren Fähigkeiten von ManiFlow lag in der Simulation bei 80,0 % und in der realen Welt bei 81,1 %. Das hierarchische System aus Molmo 2 und ManiFlow hatte bei der einfachsten Drei-Block-Buchstabierkonfiguration mit sichtbaren, aufrechten Zeichen in 55,5 % der simulierten Episoden Erfolg, 111 von 200, und in 50,0 % der realen Episoden, 15 von 30. Ai2 selbst sagt, für statistische Sicherheit seien mehr Versuche nötig, und eine Episode zählt als gescheitert, wenn ein Bediener den Roboter wegen einer unsicheren Bewegung stoppt.

Unsere Einordnung: ToyBlocks wirkt wie ein nützlicher, gut dokumentierter Prüfstand, mit einer sechsstufigen Datenpipeline, Trainingsskripten für ManiFlow, Auswertungswerkzeugen und einer Weboberfläche, in der Claude oder ein anderes Modell den simulierten Roboter steuern kann. Sein Wert ist eine kontrollierte Umgebung, in der sich Fehler zurückverfolgen lassen, kein Beleg dafür, dass Roboter nun verallgemeinern. Alle Zahlen sind als vorläufige Ergebnisse von Ai2 zu lesen, aus einer Blockwelt, die viel einfacher ist als ein Haushalt oder eine Fabrik, und die reale Stichprobe von 30 Episoden ist klein. Wir haben den Code nicht ausgeführt und kein Ergebnis nachgebildet.