Velox: 공간 메모리로 비디오 월드 모델 추론 가속

배경

비디오 월드 모델은 행동과 카메라 움직임을 긴 시각적 롤아웃으로 바꿉니다. 그래서 비디오는 상호작용형 시뮬레이션의 자연스러운 인터페이스가 됩니다. 상호작용이 되려면 생성이 충분히 빨라야 합니다. 화면이 앞뒤로 이어지려면 모델이 이미 그린 내용을 기억해야 합니다. 현재 주류인 청크 단위 비디오 확산 모델은 이 기록을 KV cache에 쌓고, 이 캐시는 청크마다 커집니다.

결과는 단순하고 비쌉니다. 롤아웃이 길어질수록 캐시가 커지고, 뒤쪽 청크는 점점 느려집니다. Velox 논문은 바로 이 병목을 겨냥합니다. Velox는 학습이 필요 없는 attention 라우터입니다. 스트리밍 기하 정보에서 얻은 시야 절두체 슬라이스의 대응 관계로, 영역 단위로 필요한 문맥만 고릅니다.

핵심 발상은 공간 메모리가 모델에게 지금 그릴 영역에 어떤 과거 청크가 중요한지 알려 줄 수 있다는 점입니다. 모든 과거 청크가 계산에 참여할 필요는 없습니다. 저자들은 48번째 청크에서 attention이 4.36배, 디노이징이 2.43배 빨라졌다고 보고합니다. 158개 전체 WBench 내비게이션 테스트에서 밀집형 기준선 LingBot-Fast-Cam과의 API-free 평균 점수 차이는 0.15 이내입니다.

심층 분석

방법은 몇 단계로 나뉩니다. 먼저 Velox는 각 과거 청크를 깊이 구간이 있는 카메라 시야 절두체 슬라이스로 표현합니다. 이 슬라이스는 그 청크가 3차원 공간의 어느 부분을 대략 덮었는지 기록합니다. 다음으로 현재 청크의 깊이는 recency-priority multiwarp로 얻습니다. 과거 깊이를 현재 시점으로 warp하되 최근 기록을 우선합니다. 그다음 슬라이스 겹침 정도가 모델이 층마다 이미 계산하는 블록 중요도를 부드럽게 조절합니다. 대체가 아니라 조절이므로 모델 자체의 판단은 남습니다. 과거 기록이 덮지 못한 영역에는 기하 편향을 더하지 않고 모델 본래의 라우팅을 씁니다. 기하 정보가 믿을 만할 때만 개입하고, 아니면 원래 동작으로 돌아가는 구조입니다. Velox는 왜 라우팅 단위로 토큰 블록을 쓸까요? 이 단위가 FlashAttention 방식의 타일 실행과 맞기 때문입니다. 라우터가 커널이 처리하는 것과 같은 크기로 결정하므로, 커널은 불필요한 블록을 실제로 건너뛸 수 있습니다. 그러면 롤아웃 길이에 따라 늘어나는 attention 비용이 줄어듭니다. 단위가 더 크거나 작으면 아낀 계산이 GPU에서 실현되지 않습니다.

슬라이스 구성은 같은 H200에서 디노이징과 비동기로 진행됩니다. 기하 계산 비용이 디노이징 시간 안에 숨겨지므로 생성이 추가로 늦어지지 않습니다. 두 속도 수치가 다른 이유도 분명합니다. 디노이징에는 과거 길이와 무관한 연산이 있어서, 전체 이득 2.43배가 attention만의 이득 4.36배보다 작습니다.

산업 영향

많은 장문맥 가속 기법은 범용 희소화나 압축에 기댑니다. Velox는 월드 모델 고유의 구조를 씁니다. 장면에는 3차원 기하가 있고, 카메라에는 자세가 있으며, 과거 내용은 현재 시점과 공간적 관계를 가집니다. 공간 메모리로 볼 곳을 정하는 방식은 attention 점수나 시간적 가까움만으로 고르는 것보다 근거가 단단합니다.

공학적으로도 부담이 적습니다. 학습이 필요 없고 가중치를 바꾸지 않으며, 타일 방식 attention 커널과 맞물립니다. 이미 학습된 비디오 월드 모델이 낮은 비용으로 더 빠른 장기 롤아웃을 얻을 수 있습니다. 실시간 상호작용 시뮬레이션, 게임형 장면, 체화 에이전트 학습 환경을 만드는 팀에게 길수록 느려지는 롤아웃은 실제 장벽이며, Velox는 그 장벽을 겨냥합니다.

비동기 설계는 두 번째 교훈을 줍니다. 주 모델 옆에서 기하를 계산하는 보조 모듈의 비용을 파이프라이닝으로 숨길 수 있습니다. 비슷한 외부 라우터를 설계하는 쪽에서 이 패턴을 재사용할 수 있습니다. 158개 내비게이션 사례에서 평균 점수 차이가 0.15 이내라는 결과는, 많은 과거 블록을 건너뛰어도 내비게이션 성능 손실이 작다는 점을 시사합니다.

전망

주의할 한계가 몇 가지 있습니다. 원문 요약에는 소거 실험 세부 내용이 없습니다. 따라서 시야 절두체 슬라이스, multiwarp, 부드러운 조절 각각의 기여도는 여기서 판단할 수 없고, 논문이나 프로젝트 페이지를 확인해야 합니다. 속도 수치도 H200에서 슬라이스 구성을 비동기로 돌린 조건에서 측정되었으므로, 다른 하드웨어에서는 이득이 다를 수 있습니다.

이 방법은 스트리밍 기하가 주는 깊이에 의존합니다. 깊이가 틀렸을 때 Velox가 얼마나 견고한지는 열린 질문입니다. 48개보다 훨씬 긴 롤아웃에서의 동작도 마찬가지입니다. 모두 후속 연구가 다룰 만한 방향입니다.

그래도 방향은 분명합니다. 비디오 월드 모델이 상호작용 용도로 옮겨 갈수록 청크당 메모리 비용은 첫째가는 과제가 됩니다. Velox는 파이프라인에 이미 있는 기하 정보로 attention을 이끌 수 있고, 그렇게 하면 48번째 청크에서 디노이징 지연을 절반 넘게 줄이면서 내비게이션 점수를 밀집형 기준선 가까이 유지할 수 있음을 보여 줍니다.