MoRAL: 에지 자율주행을 위한 컴팩트한 VLM 센서 기반 BEV 추론 방법

배경

자율주행 분야에서 안전에 민감한 실시간 추론 작업에 비전-언어 모델(VLM)을 배포하는 것은长期以来 모델의 규모와 공간 인식 신뢰성 사이의 근본적인 모순에 직면해 있었습니다. 기존의 엔드투엔드 자율주행 시스템은 복잡한 환경 데이터를 해석하기 위해 방대한 3D 백본 네트워크에 의존해 왔습니다. 이러한 아키텍처는 차량 탑재 하드웨어가 가진 엄격한 지연 시간 및 메모리 제한으로 인해, 리소스가 제한된 에지 디바이스에서는 계산적으로 실행 불가능한 부담을 초래합니다. 따라서 업계는 무거운 3D 재구성 파이프라인의 오버헤드 없이도 견고한 의사결정 능력을 제공할 수 있는 새로운 아키텍처를 시급히 필요로 하고 있습니다.

이러한 과제를 해결하기 위해 연구진은 에지 자율주행 플랫폼을 위해 설계된 컴팩트한 추론 프레임워크인 MoRAL을 제시했습니다. MoRAL은 상대적으로 경량화된 Cosmos-Reason2-2B 모델을 활용하되, 혁신적인 '센서 그라운딩(sensor-grounded)' 전략을 결합하여 환경 데이터가 모델에 제시되는 방식을 근본적으로 재정의합니다. 이 접근법은 복잡한 신경망을 통해 원시 센서 스트림을 처리하는 대신, 물리적 공간 정보를 직접 시각적 특징으로 인코딩합니다. 이를 통해 경량 VLM이 명시적인 3D 백본 네트워크 없이도 구조화된 이미지처럼 주행 환경을 '읽을' 수 있게 되었으며, 이는 소비자용 하드웨어에서도 고급 자율주행 기능을 실현할 수 있는 가능성을 열었습니다.

심층 분석

MoRAL의 기술적 핵심은 고각 뷰(BEV) 데이터의 혁신적인 표현 방식과 두 단계로 구성된 파인튜닝 파이프라인에 있습니다. BEV 이미지는 물리적으로 인코딩된 표현으로 설계되어, LiDAR 거리는 특정 색상 대역으로, 객체 카테고리는 군집화된 형태를 통해, 레이더 도플러 속도는 방향성 웨지 오버레이로 시각화됩니다. 이러한 변환은 복잡한 3D 공간 데이터를 표준 VLM이 본질적으로 처리할 수 있는 2D 시각적 특징으로 바꿉니다. 공간 인식을 입력 이미지 자체로 외부화함으로써, 모델은 런타임 동안 3D 특징 추출의 계산 부담을 제거하고 이러한 풍부해진 시각적 단서에 기반한 추론과 의사결정에 전념할 수 있게 됩니다.

훈련 과정은 시각적 이해와 논리적 추론 능력을 모두 보장하기 위해 엄격하게 두 단계로 나뉩니다. 첫 번째 단계에서는 비주얼 인코더가 6만 개의 그라운딩 레코드에서 파인튜닝됩니다. 이 단계는 모델이 인코딩된 BEV 이미지의 특정 시각적 언어를 해석하도록 가르치는 데 중요합니다. 아블레이션 연구에 따르면, 명시적인 훈련 없이 제로샷 베이스라인은 BEV 출력을 파싱하지 못하며, 이는 모델이 이러한 시각적 패턴을 물리적 실체와 연결하도록 명시적으로 가르쳐야 함을 시사합니다. 이 단계는 모델의 시각적 이해를 주행 환경의 물리적 현실에 grounding합니다.

두 번째 단계는 교사-학생 지식 증류 방식을 사용하여 모델의 추론 능력을 강화하는 데 중점을 둡니다. Cosmos-Reason2-8B 모델이 교사 역할을 하여, 8가지 유형의 주행 질문에 대한 57,696개의 사고사슬(Chain-of-Thought) 레코드를 생성합니다. 이 단계에서 Cosmos-Reason2-2B 모델 파라미터의 2.4%(약 5,200만 개)만 파인튜닝됩니다. 이 파라미터 효율적인 전략은 작은 모델이 더 큰 교사 모델로부터 복잡한 다단계 물리적 추론 능력을 상속받으면서도 사전 훈련된 언어 능력을 유지할 수 있게 합니다. 그 결과, 모델은 단순히 객체를 인식하는 것을 넘어, 입력된 시각적 데이터에 기반하여 구조화된 논리적 추론을 수행할 수 있게 됩니다.

산업 영향

nuScenes 데이터셋에서 수행된 실증 평가는 MoRAL 프레임워크의 효용성을 입증합니다. 2,304개의 프레임 하위 집합을 사용하여 Gemma 4(31B) 평가자에 의해 평가되고 인간 검토를 통해 보정된 결과, MoRAL은 파라미터가 베이스라인의 4분의 1에 불과함에도 불구하고 8가지 주행 작업 카테고리 중 7가지에서 제로샷 8B 베이스라인을 능가했습니다. 특히 구조화된 다단계 물리적 추론이 필요한 작업에서 가장 큰 개선 효과가 관찰되었습니다. 구체적으로 긴급 제동 시나리오의 재현율(recall)은 베이스라인의 10.8%에서 MoRAL의 47.8%로 급증했으며, 일관성 없거나 관련 없는 응답을 나타내는 출력 저하율은 94.1%에서 20.8%로 급감하여 모델 결정의 신뢰성과 일관성이 크게 향상되었음을 시사합니다.

정확성 외에도 MoRAL은 에지 배포를 위해 매력적인 효율성 이점을 제공합니다. 전체 추론 파이프라인은 양자화 없이도 8GB VRAM을 갖춘 소비자용 GPU에서 초당 42개의 토큰(tok/s) 속도로 작동합니다. 이 성능 지표는 자동차 산업에서 특히 중요한데, 고품질의 자율주행 의사결정이 저렴하고 널리 이용 가능한 하드웨어에서 이루어질 수 있음을 증명하기 때문입니다. 이 능력은 고급 운전자 지원 시스템(ADAS) 개발의 진입 장벽을 낮추고, 대량 시장 차량에서 L2+/L3 자율 기능의 채택을 가속화할 잠재력을 지니고 있습니다. 이처럼 제한된 하드웨어에서 실시간 추론을 달성하는 능력은 모든 차량에 고가의 고성능 컴퓨팅 유닛을 의존해야 한다는 기존의 지배적인 트렌드에 도전합니다.

오픈소스 자율주행 커뮤니티와 산업 연구 개발에 미치는 영향은 지대합니다. MoRAL은 정교한 물리적 추론이 반드시 막대한 모델 스케일링을 필요로 하지 않음을 보여줍니다. 정교한 데이터 표현과 파라미터 효율적인 파인튜닝에 집중함으로써 연구진은 컴팩트한 모델에서 상당한 성능 향상을 이끌어낼 수 있습니다. 이러한 패러다임 전환은 커뮤니티가 VLM에 물리적 사전 지식을 통합하는 더 효율적인 방법을 탐색하도록 장려합니다. 이는 향후 발전이 단순히 파라미터 수를 증가시키는 것이 아니라, 더 작고 민첩한 모델의 본연의 능력과 일치하도록 입력 데이터를 더 잘 구조화하는 데서 비롯될 수 있음을 시사합니다.

전망

MoRAL의 성공은 자율주행 시스템이 더욱 모듈화되고, 효율적이며, 접근 가능해지는 미래를 향한 방향을 제시합니다. 공간 인식을 추론 엔진에서 분리함으로써 이 아키텍처는 향후 개선 사항을 위한 유연한 기반을 제공합니다. 센서 기술이 진화함에 따라 BEV 인코딩 레이어는 VLM 백본의 완전한 재설계 없이도 새로운 데이터 유형을 통합하도록 적응될 수 있습니다. 이러한 모듈화는 더 빠른 개발 주기와 기존 자율주행 스택에 새로운 센싱 모달리티를 쉽게 통합할 수 있게 할 수 있습니다.

또한 에지 효율성에 대한 강조는 프라이버시와 지연 시간에 대한 산업의 증가하는 초점과 일치합니다. 차량에서 데이터를 로컬로 처리하면 실시간 안전 애플리케이션에 필수적인 클라우드 연결에 대한 의존도를 줄일 수 있습니다. 컴퓨팅 제약이 광범위한 자율주행 채택의 주요 병목 현상으로 남아있는 한, MoRAL과 같은 프레임워크는 이러한 제한을 극복하기 위한 실행 가능한 경로를 제공합니다. 업계는 즉각적인 의사결정을 위해 경량 센서 그라운딩 VLM과 장기 계획 및 학습을 위한 더 큰 클라우드 기반 모델을 결합하는 하이브리드 아키텍처로의 전환을 볼 수 있을 것입니다.

마지막으로, 본 연구에서 사용된 엄격한 평가 방법론은 컴팩트한 자율주행 모델의 벤치마킹을 위한 새로운 기준을 설정합니다. 인간 검토로 보정된 자동 평가자의 사용은 성능 지표가 표면적인 패턴 매칭이 아닌 진정한 주행 안전성을 반영함을 보장합니다. 분야가 성숙함에 따라 이러한 엄격한 기준은 점점 더 자율적인 시스템의 안전성을 검증하는 데 필수적일 것입니다. MoRAL은 도메인 특화 데이터 엔지니어링과 현대 대규모 언어 모델 기법을 결합하여 복잡한 공학 문제를 효율적으로 해결할 수 있는 잠재력을 입증하는 사례입니다.