Skild AI, 엔비디아 물리 AI와 협력해 스마트폰 영상 한 편으로 로봇 조작 훈련 기술 구현

배경

로봇 공학 및 체화된 인공지능(Embodied AI) 분야에서 고품질의 물리적 상호작용 데이터 부족은 범용 지능 로봇의 상용화를 가로막는 가장 결정적인 장벽이었습니다. 인터넷상의 방대한 웹 문서를 학습 자원으로 활용할 수 있는 자연어 처리 분야와 달리, 정밀한 손동작이나 접촉 역학 데이터는 현실에서 수집하기가 극도로 어렵습니다. 로봇 팔에 작은 부품 조립, 케이블 연결, 용기 개봉과 같은 정교한 조작 기술을 가르치기 위해서는 고가의 모션 캡처 설비를 구축하거나 연구자가 VR 헤드셋을 착용하고 수천 번에 걸쳐 지루한 원격 조작(Teleoperation)을 반복해야 했습니다. 이러한 막대한 비용과 시간 투입은 새로운 로봇 기술 습득의 속도를 심각하게 저하시켰습니다.

이러한 물리 데이터 수집의 한계를 근본적으로 해결하기 위해, 로봇 파운데이션 모델 선도 스타트업인 Skild AI는 글로벌 컴퓨팅 기업 NVIDIA와의 전방위적 기술 협력을 전격 발표했습니다. 양사는 차세대 물리 세계 모델인 NVIDIA Cosmos와 대규모 RTX GPU 클러스터 기반의 Isaac Sim 가상 합성 데이터 파이프라인을 융합했습니다. 이를 통해 일상적인 스마트폰으로 촬영한 단 한 편의 작업 시연 영상만으로, 다양한 형태의 로봇 하드웨어가 단 몇 시간 만에 고난도 조작 기술을 제로샷으로 완벽하게 습득하는 획기적인 파이프라인을 완성했습니다.

심층 분석

단 한 편의 2차원 스마트폰 영상으로부터 실제 로봇의 정밀한 물리 제어 정책을 도출하는 기술적 비결은 NVIDIA Cosmos의 물리 역추론 엔진과 Isaac Sim의 대규모 병렬 합성 시뮬레이션의 결합에 있습니다. 전체 워크플로는 비디오 물리 역변환, 대규모 도메인 무작위화 시뮬레이션, 그리고 파운데이션 정책 증류라는 세 단계로 구성됩니다. 첫 번째 단계에서 스마트폰 영상은 NVIDIA Cosmos 물리 세계 모델로 전달됩니다. Cosmos는 영상을 단순한 픽셀의 나열로 보지 않고 뉴턴 역학 법칙에 입각하여 해석합니다. 모델은 단안 카메라 영상으로부터 사람 손의 3차원 관절 궤적, 작업 대상 물체의 기하학적 형태, 접촉 지점의 반작용력, 마찰 계수 및 중력 영향을 정밀하게 역추론합니다. 촬영 도중 발생하는 카메라 흔들림이나 손가락에 의한 부분 가림 현상이 존재하더라도 물리적으로 일관된 3차원 상호작용 데이터를 안정적으로 복원해 냅니다.

두 번째 단계에서는 복원된 물리 선행 정보가 NVIDIA Isaac Sim 가상 환경으로 자동 전달됩니다. RTX 및 Blackwell GPU 클러스터의 초병렬 연산 성능을 바탕으로 수 분 만에 수만 개의 디지털 트윈 가상 공간이 생성됩니다. 이 시뮬레이션 환경에서는 물체의 질량 불균형, 표면 마찰력, 조명 환경 등을 무작위로 변경하는 공격적인 도메인 무작위화(Domain Randomization)가 적용됩니다. 동시에 단순한 2지 평행 그리퍼부터 5지 다자유도 인간형 로봇 손까지 다양한 기계적 구조에 맞추어 동작이 자율적으로 리타기팅됩니다. 마지막으로 Skild AI의 범용 로봇 두뇌 모델인 Skild Brain(S1)이 이 가상 데이터 스트림을 흡수하며 강화학습을 수행합니다. 수많은 가상 물리 외란 속에서 학습을 거친 S1은 시각적 노이즈를 걷어내고 물체 조작의 본질적인 역학 메커니즘을 터득함으로써, 현실 세계의 로봇 하드웨어에 배포되는 즉시 추가 캘리브레이션 없이 작업을 완수하는 완벽한 Sim-to-Real 전이를 실현합니다.

산업 영향

Skild AI와 NVIDIA의 이번 협력은 제조 공장, 물류 풀필먼트 센터, 서비스 로봇 산업 전반에 막대한 생산성 혁신을 촉발할 것으로 기대됩니다. 과거 산업용 로봇을 라인에 배치하기 위해서는 전문 엔지니어가 티칭 펜던트를 들고 며칠씩 좌표를 프로그래밍해야 했습니다. 그러나 이제는 현장 작업자가 스마트폰으로 조립 시연 영상을 한 번 촬영하기만 하면, 클라우드 시스템이 수 시간 만에 공장 내 협동로봇들에게 최적화된 자율 제어 정책을 전송할 수 있습니다.

또한 특정 하드웨어에 종속되지 않는 범용성 덕분에 기업들은 기종이 다른 여러 로봇을 도입하더라도 단일 소프트웨어 플랫폼으로 통합 제어할 수 있게 되었습니다. 2지 그리퍼가 장착된 산업용 로봇 팔이든 인간형 서비스 로봇이든 동일한 스마트폰 시연 영상에서 각자의 형태에 맞는 조작 정책을 자율 생성하므로, 물리적 자동화 시스템의 유연성이 극대화됩니다.

이 기술의 도입을 통해 다품종 소량 생산 라인의 공정 전환 시간이 획기적으로 줄어들고 유지보수 비용이 대폭 절감되는 효과를 누릴 수 있습니다.

전망

다만 얇은 천, 유연한 전선, 혹은 출렁이는 액체와 같이 복잡한 유체 및 탄성 변형체를 다루는 작업의 경우, 여전히 시뮬레이션 물리 엔진과 실제 세계 사이의 미세한 오차가 존재합니다. 이러한 한계를 극복하기 위해 향후 고정밀 유체-구조 연성 해석(FSI) 기술을 파이프라인에 결합하는 연구가 필수적입니다.

아울러 대규모 GPU 시뮬레이션 인프라를 전 세계 엔지니어들이 손쉽게 활용할 수 있도록 모듈화된 클라우드 서비스 형태로 보급하는 작업도 추진되고 있습니다. 양사는 향후 Cosmos와 Isaac 파이프라인을 NVIDIA NIM 마이크로서비스로 패키징하여, 전 세계 개발자들이 일상적인 비디오 클립을 강력한 로봇 제어 자산으로 변환할 수 있는 시대를 열어갈 방침입니다.