피지컬 AI 대규모 배치에는 모든 계층의 안전이 필요하다

2026년 9월 21일 NVIDIA는 공식 블로그에 Riccardo Mariani가 쓴 글 「피지컬 AI를 대규모로 배치하려면 모든 계층에서 안전이 필요하다」를 게시했습니다. 핵심 주장은 단순합니다. 자율주행차, 휴머노이드 로봇, 산업용 로봇 같은 AI 기반 기계가 도로와, 사람과 공간을 나누는 공장·창고로 들어오는 만큼, 안전은 하드웨어, 소프트웨어, AI 모델, 운영 환경, 그리고 배치 수명 주기 전체를 포괄해야 합니다. 배치 전에 한 번 점검하는 것으로는 부족합니다. 글은 두 가지 전망으로 시작합니다. ABI Research는 2035년까지 레벨 3~5 자율주행차 설치 대수가 4,900만 대에 이를 것으로 예상하고, Omdia는 2026년부터 2035년 사이에 약 6,000만 대의 산업용 로봇이 배치될 것으로 추정합니다. 규모가 커질수록 한 번의 실패가 치르는 비용도 커지므로, 제조사, 규제 당국, 보험사, 작업장 안전 담당자는 하드웨어, 소프트웨어, AI 동작, 운영 환경이 사람의 개입 없이 안전하게 함께 작동한다는 증거를 요구합니다. NVIDIA는 피지컬 AI 안전을, AI 기반 기계의 판단이 물리적 행동으로 이어질 때 안전하게 동작함을 증명하는 것으로 정의합니다.

새로운 안전 모델이 필요한 이유로 글은 네 가지 변화를 듭니다. 첫째, 동적인 환경에는 맥락을 이해하는 안전이 필요합니다. 도로, 공장, 창고는 고정된 구역이나 물리적 장벽만으로 통제할 수 없으므로, 시스템은 변화를 인식하고 행동을 조정하며 예상 밖의 상황에서 안전한 상태에 도달해야 합니다. 둘째, AI 동작에는 별도의 보증이 필요합니다. 기존 기능 안전과 함께 설계 시점, 실행 시점, 검증 시점의 가드레일로 AI 소프트웨어를 평가해야 하며, ISO/IEC TS 22440 같은 새 표준이 AI 고유의 위험을 다루기 시작했습니다. 셋째, 배치는 끝나지 않는 과정입니다. 소프트웨어와 모델 업데이트, 새로운 작업, 달라지는 조건 때문에 중대한 변경에는 추가 안전 시험이 필요할 수 있습니다. 넷째, 대규모 검증에는 시뮬레이션과 합성 데이터가 필수입니다. 시나리오의 수와 복잡성이 실제 시험만으로 감당할 수준을 넘기 때문입니다.

NVIDIA의 답은 Halos이며, 글은 이를 피지컬 AI를 위한 최초이자 유일한 풀스택 안전 시스템이라고 부릅니다. 이는 제조사 스스로의 주장이므로 그렇게 받아들여야 합니다. NVIDIA는 기능 안전, 센서 융합, AI 동작 보증, 비전 AI, 시뮬레이션, 실환경 검증을 아우르는 10년 이상의 자율주행 안전 개발을 토대로 삼았다고 밝힙니다. 원칙은 자율주행과 로봇 공학에서 공통이지만 플랫폼, 표준, 증거는 분야마다 다르다고 글은 강조합니다. 자율주행 쪽 Halos는 네 영역으로 나뉩니다. 하드웨어에서는 NVIDIA DRIVE AGX Thor가 안전 설계된 가속 컴퓨팅을 제공하고, NVIDIA Hyperion이 레벨 4용 전체 차량 플랫폼과 참조 아키텍처를 제공합니다. 운영체제와 미들웨어에서는 Halos OS가 ASIL-D 인증을 받은 DriveOS 위에 구축되며, Halos Core와 Halos Middleware가 시스템 격리, 모니터링, 결정론적 통신을 지원합니다. 엔드투엔드 모델에서는 NVIDIA Alpamayo가 롱테일 상황에 설명 가능성을 더하는 추론형 개방 비전 언어 행동 모델을 제공합니다. 시뮬레이션과 검증에서는 NVIDIA Halos Safety Evaluation Framework가 자동화 수준별 안전 사례를 뒷받침할 증거를 만드는 도구와 지침을 제공합니다. 이들은 클라우드의 AI 개발·시뮬레이션과 차량 내 배치를 연결해, 안전 증거가 차량 수명 주기 전반에서 추적 가능하게 합니다.

로봇 쪽 Halos도 계층으로 구성됩니다. 하드웨어에서는 NVIDIA IGX Thor가 가속 컴퓨팅과 기능 안전을 한 플랫폼에 결합한 산업용 모듈로, 전용 Functional Safety Island를 갖추고 IEC 61508과 ISO 13849 등 표준을 목표로 하는 시스템을 지원하도록 설계되었습니다. 소프트웨어에서는 IGX용 Halos Core가 결함 감지, 모니터링, 보고 같은 안전 관련 운영 기능과, 센서·액추에이터 등 안전 구성 요소를 잇는 통신·처리 기능을 제공합니다. 실시간 감지에서는 NVIDIA Holoscan Sensor Bridge가 센서 데이터를 AI 및 안전 관련 처리와 연결해, 유효하지 않은 정보를 식별하고 정해진 안전 응답을 실행하도록 돕습니다. 시뮬레이션에서는 NVIDIA Isaac Lab과 Omniverse 라이브러리로 다양한 조건과 극단 사례에서 로봇 동작을 시험해 실환경 검증을 보완합니다. 외부에서 보는 안전에서는 오픈소스 NVIDIA Halos Outside-In Safety Blueprint가 외부 카메라와 비전 AI 에이전트로 온보드 센서 너머까지 인지 범위를 넓혀 시설 수준의 모니터링을 지원합니다. 글은 NVIDIA Halos AI Systems Inspection Lab도 언급하지만, 받은 원문이 이 부분에서 잘려 있어 세부 내용은 확인할 수 없습니다.

설계상 눈에 띄는 점은 세 가지입니다. 안전을 ASIL-D, IEC 61508, ISO 13849 같은 구체적 표준·인증과 연결된 증거로 뒷받침할 수 있는 계층으로 나누었고, AI 모델을 별도의 가드레일이 필요한 구성 요소로 다루며, 현장 카메라가 온보드 센서의 사각지대를 메우도록 외부 시점을 시스템에 포함했습니다. 원문에는 벤치마크, 지연 시간, 가격, 비용 수치가 없으며 이 보고서도 이를 추측하지 않습니다. 개발자와 기업에게 실질적인 변화는 프로세스에 있습니다. 안전 증거는 지속적으로 산출되는 결과물이 됩니다. 모델이나 소프트웨어를 업데이트할 때마다 중대한 변경인지, 추가 시험이 필요한지 판단해야 하고, 시뮬레이션, 합성 데이터, 실환경 시험 결과를 추적 가능한 사슬로 이어야 합니다. 과제도 남습니다. ISO/IEC TS 22440은 아직 초기 단계의 기술 규격이고, 풀스택 제품과 표준의 대응에는 독립적인 감사가 필요하며, 한 벤더에 대한 종속 위험이 있고, 시뮬레이션과 현실의 간극도 남습니다. 이 글은 제품 발표라기보다 입장 표명에 가깝고, 업계의 질문을 기계가 작동하는지에서 안전을 증명할 수 있는지로 옮겨 놓았다는 데 의미가 있습니다.