Into the Omniverse: 개발자들이 프런티어 AI 에이전트로 아이디어를 시뮬레이션으로 만드는 방법

2026년 10월 8일 NVIDIA는 공식 블로그 시리즈 「Into the Omniverse」에 「개발자들이 프런티어 AI 에이전트로 아이디어를 시뮬레이션으로 만드는 방법」이라는 글을 게시했다. 전제는 단순하다. 시뮬레이션 아이디어를 동작하는 애플리케이션으로 바꾸려면 자산을 모으고, 물리와 렌더링을 연결하고, 장면이 의도대로 움직이는지 확인해야 한다. 개발자들은 이제 최신 AI 모델과 NVIDIA Omniverse 라이브러리를 결합해, 그 조립과 확인 작업의 상당 부분을 에이전트에게 맡기기 시작했다. 역할 분담은 글 전체에서 같다. 개발자는 자연어로 지시하고, 결과를 검토하고, 변경 방향을 안내한다. Omniverse 라이브러리는 GPU 가속 물리, 렌더링, 센서 시뮬레이션을 제공한다. AI 에이전트는 이 요소들을 연결하고 애니메이션과 애플리케이션 코드를 작성한다. 언급된 모델에는 GPT-6 Astra가 있으며, 한 프로젝트에서는 Claude Fable 5 에이전트가 Astra와 함께 쓰였다. NVIDIA는 사내 팀과 생태계 개발자들의 새 사례를 계속 추가하겠다고 밝혔다. 첫 사례는 창고용 휴머노이드 시뮬레이터다. NVIDIA의 Omniverse 제품 관리자 Frank DeLise는 Astra로 SimReady 창고와 휴머노이드 로봇을 1인칭·3인칭 시점을 갖춘 대화형 시뮬레이터로 만들었다. 그는 Astra에게 물리(ovphysx), 장면 갱신(ovstage), 렌더링(ovrtx), 사용자 인터페이스(ovui) 라이브러리를 연결하도록 지시했고, 물리 장면을 만들 때는 SimReady 기반 라이브러리(simready-foundation)도 사용했다. 이어서 Astra가 이 기능들을 묶는 애니메이션과 애플리케이션 코드를 생성했다. 창고 작업을 자동화하기 전에 작업의 거동을 살피고 진행 방식을 평가할 수 있는 환경을 얻는다는 점이 핵심이다.

두 번째 사례는 자율주행 테스트다. NVIDIA 시뮬레이션 기술팀 매니저 Doyub Kim은 샌프란시스코 Market Street를 배경으로 한 재사용 가능한 시뮬레이션 환경 「Zero to Alpamayo」를 Astra에게 만들게 했다. Kim은 먼저 전체 워크플로를 설계하게 한 뒤, 자산 생성, 교통, Omniverse RTX 센서 시뮬레이션, Alpamayo 주행을 단계별로 연결하고 각 통합을 확인했다. 완성된 프로토타입은 모델을 비교하고, 장면이나 센서의 변경이 하류의 주행 거동에 어떤 영향을 주는지 추적하는 시험장이 되었다. 별도의 Cosmos3-Nano 실험에서는 기록된 시뮬레이션 영상의 날씨와 조명을 바꿔, 같은 시나리오에서 주행 모델의 반응을 조건별로 비교했다. 세 번째 사례는 결과 검증 방식을 가장 잘 보여 준다. NVIDIA에서 RTX 센서 검증을 맡은 Ashley Reid는 Astra와 Claude Fable 5 에이전트가 ovrtx 카메라 출력과 원시 LiDAR 출력을 실측 데이터와 비교하도록 지시했다. 에이전트는 디지털 트윈 두 개를 처음부터 만들고, 기존 두 개를 개선했다. 약 3일 동안 에이전트가 차이를 측정하고, OpenUSD 장면을 만들거나 수정하고, 결과를 확인하는 반복이 이어졌다. 수정은 빠진 물체, 형상, 재질을 다뤘고, 합격 여부는 카메라와 LiDAR 지표에 달려 있었다. 측정된 차이로 장면의 생성과 개선을 이끌 수 있다는 것이 요점이다. 먼저 ovrtx의 최소 Python 예제로 OpenUSD 장면을 렌더링하고, 실측과 비교할 센서 지표를 정의하라고 안내한다.

네 번째 사례는 Robo Olympics다. NVIDIA Omniverse 엔지니어링과 제품을 이끄는 Tae Kim은 스포츠 영상과 자연어 지시로 Astra를 이끌어, 시뮬레이션 속 Unitree G1 휴머노이드가 스포츠 동작을 수행하는 실험 프로젝트를 만들었다. Astra는 컨트롤러를 만들고 물리 시험으로 다듬었다. Newton Physics Engine이 거동을 시뮬레이션하고, 오픈소스 NVIDIA Warp 프레임워크가 계산을 가속했으며, ovrtx가 장면과 가상 카메라 영상을 렌더링했다. 한 실험에서 로봇은 시뮬레이션 100회 중 64회에서 허들 하나를 넘었다. 이 결과는 로봇의 타이밍과 제어를 개선하는 피드백이 되었다. 다섯 번째 사례는 로봇 분해다. NVIDIA의 OpenUSD 선임 제품 관리자 Jens Jebens는 Astra에게 PTC Onshape에서 자동차 서스펜션을 모델링하고 NVIDIA Isaac Sim에서 구성하게 했다. 에이전트는 사용 가능한 공간을 측정하고, 로봇이 서스펜션 볼트에 닿을 수 있는 렌치를 설계했다. Jebens는 시뮬레이션에서 서스펜션 부품을 성공적으로 분리했다고 보고했다. 설계와 공구 결정을 분해 결과에 연결하며, 로봇 정책 학습의 출발점이 된다. 여섯 번째 사례에서는 엔지니어링 디렉터 Nic Johns가 NASA 자산을 텔레메트리가 있는 OpenUSD 국제우주정거장 모델로 조립하게 했다. 프롬프트 한 번으로 앱을 만들고, 후속 프롬프트로 장면을 지구의 낮 쪽으로 옮겨 행성이 보이게 했다. 자산 준비에는 Blender를, 렌더링(ovrtx), 장면 런타임(ovstage), 스트리밍(ovstream)에는 Omniverse 라이브러리를 사용했다.

글에는 촬영한 방을 테스트 환경으로 바꾸는 일곱 번째 사례도 예고되어 있으며, 디지털로 재구성한 방에는 편집 가능한 객체가 필요하다고 한다. 다만 이 보고서에 제공된 원문은 이 부분 중간에서 끊겨 있어 세부 내용은 인용하지 않는다. 자세한 내용은 NVIDIA 원문을 참고해야 한다. 이 사례들에는 세 가지 공통점이 있다. 첫째, 모든 프로젝트가 측정하거나 확인할 수 있는 결과로 끝난다. 센서 지표, 100회 중 64회 성공, 시뮬레이션에서의 부품 분리가 그 예다. 둘째, 에이전트는 한 번에 결과를 내지 않고 측정, 수정, 재확인의 반복 속에서 일하며, 방향 판단은 사람이 맡는다. 셋째, 모든 사례가 OpenUSD와 Omniverse 라이브러리라는 공통 기반 위에 있어 도구와 자산을 잇기 쉽다. 냉정하게 볼 점도 있다. 이 글은 NVIDIA 자신의 소개이며 비용, 총 소요 시간 비교, 실패 비율을 밝히지 않았다. 따라서 일반적인 효율 향상을 끌어낼 수는 없다. 그래도 시사점은 분명하다. 로봇과 자율주행 팀에게 시뮬레이션은 학습과 검증의 핵심 단계인데, 구축은 오랫동안 그래픽과 물리를 모두 아는 소수 엔지니어에게 의존했다. 에이전트가 연결 코드 작성 비용을 낮추면 더 많은 팀이 더 일찍 시뮬레이션 테스트에 도달할 수 있다. NVIDIA로서는 프런티어 모델이 Omniverse 라이브러리를 도구로 호출하면 소프트웨어 생태계의 결속이 강해진다. 남은 과제는 시뮬레이션 센서와 실제 센서의 차이를 계속 줄이는 것, 에이전트가 무엇을 바꿨는지 감사할 수 있게 하는 것, 여러 사람이 함께 일할 때 장면의 추적성을 유지하는 것이다.