Ai2가 오픈 로봇 팔 모의 세계 ToyBlocks를 공개하다: GPU 한 장에서 실시간의 최대 24배 속도로 시연을 자동 생성하고 계층형 시스템은 글자가 보이고 똑바로 선 가장 쉬운 블록 3개 철자 구성에서 실제 세계 제로샷 50.0%(30개 중 15개)였지만 실제 표본이 작고 저자들은 발견을 초기 결과라고 한다

2026년 11월 6일 앨런 인공지능 연구소(Ai2)는 Hugging Face 블로그에 로봇이 어떻게 배우는지 연구하기 위한 오픈 시뮬레이션 프레임워크 「ToyBlocks」를 게시하고, 함께 'FoundationWorld'라는 개념을 소개했습니다. FoundationWorld는 작고 통제 가능한 모의 세계에, 과제와 훈련용 시연을 자동으로 만드는 도구, 시간에 따른 로봇의 행동을 재는 지표를 묶은 것입니다. ToyBlocks는 그 첫 사례로, 탁자 위의 로봇 팔과 블록입니다. Ai2는 이를 페트리 접시에 비유합니다. 연구자가 한 가지 조건만 바꾸고, 시험을 반복하고, 로봇이 왜 실패했는지 추적할 수 있는 환경이라는 뜻입니다. 글은 Ai2 자신의 설명이며 발견을 초기 결과로 표시합니다.

이 세계는 일부러 단순하지만 시시하지는 않습니다. 블록의 면에는 그림과 글자가 있어서 과제에는 찾기, 분류하기, 쌓아서 단어 철자 만들기가 있고, 로봇은 가려진 면을 보려고 블록을 돌려야 할 수도 있습니다. 도메인 랜덤화는 장면마다 블록 크기, 탁자 높이 등의 속성을 바꿉니다. 밀기, 뒤집기, 돌리기 같은 기술은 NVIDIA의 Isaac Lab 안에서 강화학습과 모션 플래닝으로 시뮬레이션에서 학습되며, 실제 로봇은 가질 수 없는 블록의 정확한 자세 같은 특권 정보를 사용합니다. 그다음 과제·동작 계획기가 기술을 이어 계획으로 만들고, 계획을 시뮬레이션에서 실행하면 사람이 로봇을 원격 조종하지 않아도 라벨이 붙은 녹화 시연이 만들어집니다. Ai2는 GPU 한 장에서 수백 개 계획을 병렬로 실행해 실시간의 최대 24배 속도에 이른다고 말합니다. 평가는 성공률 말고도 실행 속도, 물체에 가해지는 힘, 과제 진행도를 보고합니다.

첫 실험은 동작 모델을 시험했습니다. 시각·언어·행동 모델은 언어와 카메라 이미지를 로봇 움직임으로 바꿉니다. Ai2는 ManiFlow, π0.5, MolmoAct 2를 Stack, Unstack, Flip, Rotate라는 과제에서 시험했는데, 공간의 일부에서 훈련하고 새 위치나 새 쌓기 높이에서 평가했습니다. 초기 결과에서 이 모델들은 대규모 사전 훈련에도 일반화가 부족했고, 저자들은 이를 개선하는 기법을 보고하면서도 일반화는 해결과 거리가 멀다고 말합니다. 상위 계획에서는 Molmo 2 시각·언어 모델이 기술과 블록을 고르고, ManiFlow 같은 하위 모델이 실행합니다. 프레임워크가 두 수준 모두에 오라클(정답 기준)을 제공하므로, 실패가 계획 때문인지 실행 때문인지 추적할 수 있습니다.

에이전트 시스템은 Model Context Protocol로 제공되는 도구를 통해 움직이는 Claude Opus 5.5로 시험했습니다. 고전적인 블록 쌓기에서 에이전트는 텍스트로 기술된 30개 과제를 모두 풀었고, 카메라 이미지를 보며 닫힌 루프로 했을 때도 30개를 모두 풀었습니다. '찾고 철자 만들기' 설정에서 에이전트는 최대 8개 블록으로 세 글자 단어를 만들어야 했고, 장면의 절반은 글자가 하나 없어 불가능했으며 에이전트는 그렇게 말해야 했습니다. 이 과제들에서 풀었거나 불가능하다고 정확히 선언한 비율은 63%였습니다. 오류는 대부분 비슷하게 생긴 글자 혼동 13%, 쌓을 때 글자 방향 오류 15%였습니다. 에이전트가 직접 실험하고 자기 기술 설명을 쓰는 별도의 설정에서는 성공률이 기본 설명일 때 24%에서 63%로 올랐고, 사람 전문가가 쓴 설명은 36%였습니다. 서로 다른 과제이고 분모도 다르며, 두 번째 63%는 첫 번째와 다른 수치입니다.

Ai2는 로봇이 움직인 뒤 장면이 어떻게 바뀌는지 예측하는 월드 모델도 ToyBlocks로 비교했습니다. 네 가지 기술 각각에 900개 궤적을 만들었고 절반은 성공, 절반은 실패였으며, 세 모델을 미세 조정해 비교했습니다. 50억 매개변수 비디오 모델 Wan 2.2가 블록의 움직임과 결과를 가장 잘 예측했고, 에이전트형 물리 시뮬레이터 모델 Astra는 그리퍼를 잘 따라갔지만 접촉에서 어려워했으며, 잠재 모델 LeWM은 빠르지만 전체 궤적에서는 어긋났습니다. 최고의 비디오 모델이 만든 롤아웃 100개를 더하자 정책의 미지 영역 성공률이 19%에서 78%로 올랐습니다.

시뮬레이션에서 실제로의 시험이 가장 중요하면서 가장 빈약합니다. Robotiq 그리퍼를 단 Franka FR3 팔로, 훈련에서 본 블록 4~10개가 든 30가지 장면 구성에서, 모델은 시뮬레이션 데이터로만 훈련하고 실제 로봇에서 추가 훈련 없이 제로샷 평가했습니다. 다만 시뮬레이터 매개변수는 미리 실제 로봇 궤적으로 보정했습니다. ManiFlow의 원자 기술 성공률은 시뮬레이션 80.0%, 실제 81.1%였습니다. 계층형 Molmo 2와 ManiFlow 시스템은 글자가 보이고 똑바로 선 가장 쉬운 블록 3개 철자 구성에서 시뮬레이션 에피소드의 55.5%(200개 중 111개), 실제 에피소드의 50.0%(30개 중 15개)에서 성공했습니다. Ai2 스스로 통계적 확신을 위해 더 많은 시도가 필요하다고 말하며, 위험한 움직임으로 조작자가 로봇을 멈춘 에피소드는 실패로 칩니다.

우리의 해석입니다. ToyBlocks는 6단계 데이터 파이프라인, ManiFlow 훈련 스크립트, 평가 도구, Claude 같은 모델이 시뮬레이션 로봇을 제어할 수 있는 웹 인터페이스를 갖춘, 문서화가 잘 된 쓸모 있는 시험대로 보입니다. 그 가치는 실패를 추적할 수 있는 통제된 환경에 있고, 로봇이 이제 일반화한다는 증거는 아닙니다. 모든 수치는 가정이나 공장보다 훨씬 단순한 블록 세계에서 나온 Ai2 자신의 초기 결과로 받아들이고, 실제 30개 에피소드 표본이 작다는 점에 유의하세요. 우리는 코드를 실행하지 않았고 어떤 결과도 재현하지 않았습니다.