NVIDIA, 피지컬 AI용 Cosmos 실습 안내: 주행·로봇·수술 시뮬레이션 레시피와 공급사 보고 약 2~3배 가속을 내세운 NIM 서비스

2026년 11월 2일 NVIDIA 개발자 블로그는 피지컬 AI용 Cosmos 플랫폼의 실습 가이드를 게시했다. 글은 두 가지 작업을 다룬다. 하나는 Cosmos Framework로 월드 모델을 팀의 센서, 작업, 데이터에 맞추는 것이고, 다른 하나는 Cosmos NIM 마이크로서비스로 그 모델을 애플리케이션에서 서비스하는 것이다. 명령어와 체크포인트가 포함된 기술 안내서이며, 성능 수치의 대부분은 NVIDIA 자체 테스트에서 나온 것이다.

Cosmos Framework는 학습, 최적화, 추론을 위한 개방형 모듈식 프레임워크로 설명된다. Cosmos 3를 넘어 NVIDIA Alpamayo, GR00T, Qwen, pi0.5 및 호환되는 다른 Hugging Face 모델로 지원을 넓히고 있다. 학습에서는 LoRA와 전체 지도 미세조정, JSONL, WebDataset, LeRobot 또는 사용자 정의 어댑터에서의 데이터 로딩, 그리고 새 강화학습 경로인 DPO, GRPO, PPO, 온폴리시 증류, DiffusionNFT가 소개된다. .agents/skills 아래의 에이전트 스킬도 설명하며, 리비전을 고정하고, 데이터셋을 검증하고, 학습과 평가 에피소드를 분리하고, GPU 시간 한도를 두고 체크포인트를 추가 학습하는 식으로 범위가 정해진 작업을 코딩 에이전트에 맡기라고 권한다.

가장 구체적인 부분은 시뮬레이션이다. 자율주행에서는 Cosmos3-Nano-Transfer-Auto가 프롬프트와 차선, 물체, 노면 표시, 표지판, 도로 경계를 나타내는 World Scenario Map(WSM) 제어를 받아 다중 시점 클립 전체를 한 번에 노이즈 제거하여 오프라인 합성 데이터를 만든다. NVIDIA는 30fps 영상에서 480p 또는 720p로 최대 400프레임을 지원한다고 한다. 참조 실행은 GPU 4개로 720p 297프레임 영상 7개와 LiDAR 스캔 99회를 만든다. Cosmos3-Nano-Sim-Auto는 인과적이고 적은 단계로 증류된 변형으로, 관측을 단계별로 생성해 주행 정책을 폐루프로 시험할 수 있다. 로봇에서는 Sim-Transfer가 깊이 영상과 프롬프트를 다양한 RGB 영상으로 바꾸고, Sim-Bimanual은 양팔 로봇의 동작으로 다음 화면을 예측한다. 수술에서는 Cosmos3-H-Embodied-Nano와 이를 증류한 Cosmos3-H-Dreams가 로봇 동작으로 영상을 생성해 오프라인 정책 평가와 실시간 폐루프 테스트에 쓴다. 체크포인트는 PyTorch와 vLLM-Omni에서 실행되며 Hopper와 Blackwell GPU에서 시험되었다.

배포 부분은 지원 모델을 최적화된 컨테이너로 묶은 Cosmos NIM을 다룬다. NVIDIA는 양자화, 추측 디코딩, 캐싱, 토큰 가지치기, KV 캐시 인식 라우팅을 들고, 추측 디코딩으로 H200에서 평균 약 2~3배 속도 향상을 측정했다고 한다. 스트리밍 비전-언어 추론은 1초 미만의 경보와 10배 낮은 지연을 줄 수 있다고도 말한다. 모두 공급사 측정치이며, 각 수치의 비교 기준, 모델 크기, 작업 부하는 글에 나오지 않는다. 필요한 메모리는 모델과 작업에 따라 다르다. Cosmos3-Nano 생성은 BF16에서 58GiB, FP8에서 44GiB, 오프로딩을 쓴 FP8에서 31GiB가 필요하고, Cosmos3-Super 생성은 각각 150, 93, 38GiB가 필요하다.

실행 단계는 평범하지만 틀리기 쉽다. 메모리 표에서 GPU와 모델을 고르고, Linux에 NVIDIA 드라이버, Docker, NVIDIA Container Toolkit을 설치하고, NGC 카탈로그 접근을 켠 NGC 개인 키를 만들어 NGC_API_KEY로 설정한 뒤, 예를 들어 GPU 0에서 Nano Generator 컨테이너를 시작한다. 글은 보여 주는 캐시 권한 설정이 로컬 개발용이므로 검토 없이 공유 호스트에 가져가서는 안 된다고 알린다. 실행 후에는 서비스가 준비되었는지 확인하고 첫 추론 요청을 보낸 다음에 그 위에 구축해야 한다.

이 글은 독립적인 평가가 아니라 제품 사용 안내라는 점도 기억해야 한다. 체크포인트를 고르고, 입력을 준비하고, 출력을 확인하는 방법은 나와 있지만, 제3자의 비교나 합성 데이터가 실제 도로나 수술 환경에서 얼마나 정확한지는 설명하지 않는다. 팀은 실제 데이터와 합성 데이터로 각각 학습한 뒤 같은 실제 테스트 세트에서 비교하는 식으로 직접 대조 실험을 설계해야 한다.

써 보려면 플랫폼 전체가 아니라 공개된 체크포인트 하나와 레시피 하나로 시작하는 것이 좋다. 공식 예제를 실행한 뒤 출력 파일이 있는지, LiDAR 값이 유한한지, 카메라 화면과 LiDAR가 시나리오 맵과 정렬되어 있는지 확인한다. GPU 수, 정밀도, 최대 메모리, 지연도 기록한다. 제목에 나온 수치는 다른 모델이나 카드에 그대로 적용되지 않기 때문이다. 합성 장면은 테스트 데이터일 뿐이므로 안전과 관련된 결정을 뒷받침하기 전에 실제 센서 데이터로 검증해야 한다. NVIDIA는 프레임워크 사용법에 대한 11월 5일(목) 라이브 방송도 예고했다.