StreamPI: 비전-언어-행동 모델을 위한 스트리밍 멀티모달 시퀀스 모델링
본 논문은 로봇 조작에서 널리 사용되는 전언어-행동(VLA) 모델의 단일 프레임 패러다임을 조사하고, pi0.5 와 같은 첨단 모델은 과거 관측에 대한 기억 능력이 부족해 정확한 공간 지각을 유지하기 어렵다고 지적한다. 저자들은 추가 파라미터를 전혀 도입하지 않고도 단일 프레임 VLA 모델에 시퀀스 추론 능력을 부여하는 스트리밍 멀티모달 시퀀스 모델링 프레임워크인 StreamPI 를 제안한다. 그 핵심인 지시 앵커 시퀀스 모델링은 각 (전적 관측, 언어 지시) 쌍을 원자적 시간 단위로 취급하며, 단위 내에서는 양방향 어텐션을 통해 모달 간 융합을 실현하고, 단위 간에서는 인과적 어텐션을 통해 자기회귀적 스트리밍 추론을 보존하며, 언어 지시를 과제 전반에 걸쳐 지속적으로 유지되는 의미 앵커로 만든다. 동기 학습과 비동기 실제 로봇 배포 간의 격차를 해소하기 위해 저자들은 무작위 간격 스트리밍 학습 전략을 제안한다. 적절한 프레임 간격(예: 3 프레임마다)은 액션 실행을 가속화하고 부드럽게 하며, 간격의 무작위화는 시간적 섭동에 대한 강건성을 한층 더 높인다. LLM 백본의 길이 외삽 능력을 활용하여 StreamPI 는 사전학습된 단일 프레임 가중치를 매끄럽게 계승하고 단일 프레임 및 다중 프레임 유연한 추론을 지원한다. 기억 의존성과 정확한 지각을 포함하는 실제 로봇 과제 및 LIBERO 시뮬레이션 벤치마크에서의 실험을 통해 StreamPI 가 다양한 과제에서 pi0.5 보다 우수함이 밝혀진다.
배경
로봇 조작 분야에서 전-언어-행동(VLA) 모델은 뚜렷한 유효성이 입증되었으나, pi0.5를 대표로 하는 첨단 모델들은 대부분 단일 프레임 패러다임 안에서 동작합니다. 매번 추론할 때 현재 관측 프레임에만 의존하는 이 방식은 간결하고 효율적이지만, 과거 관측을 보존하지 못하고 정확한 공간 지각을 형성하기 어렵습니다. 연구자들은 이런 근본적 한계를 극복하기 위해 StreamPI를 제안했는데, 추가 파라미터를 전혀 도입하지 않고도 단일 프레임 VLA 모델에 시퀀스 추론 능력을 부여한다는 점에서 눈길을 끕니다. 기존 사전학습 모델을 무리하게 확장하는 대신, 모델 구조 자체를 재구성하여 이미 학습된 가중치가历史信息를 자연스럽게 활용하도록 만든 접근입니다.
이 같은 설계는 두 가지 뚜렷한 실패 양상을 함께 겨냥합니다. 기억에 의존하는 과제는 에피소드 초반에 수집된 정보를 활용해 행동해야 하고, 정확한 지각 과제는 여러 시점을 통합해야 정확한 공간 위치 파악이 가능합니다. 두 경우 모두 매 프레임마다 맥락을 초기화하는 모델로는 제대로 대응하기 어렵습니다. 이런 격차가 StreamPI라는 스트리밍 멀티모달 시퀀스 모델링 프레임워크의 등장을 이끈 동기입니다.
심층 분석
StreamPI의 핵심은 지시 앵커 시퀀스 모델링입니다. 각 (전적 관측, 언어 지시) 쌍을 원자적 시간 단위로 취급하는데, 단위 내에서는 양방향 어텐션을 통해 모달 간 융합을 실현하고 단위 간에서는 인과적 어텐션을 통해 자기회귀적 스트리밍 추론을 보존합니다. 내부 양방향 어텐션이 단일 프레임 안의 모달 이해 깊이를 보장하는 반면, 외부 인과적 어텐션이 프레임 간 시퀀스 일관성을 유지합니다. 언어 지시는 과제 전반에 걸쳐 지속적으로 유지되는 의미 앵커로 작용해, 모델이 매번 목표를 다시 도출하지 않고도 안정적인 참조 지점을 유지합니다.
동기 학습과 비동기 실제 로봇 배포 사이의 격차를 해소하기 위해 연구자들은 무작위 간격 스트리밍 학습 전략을 도입했습니다. 적절한 프레임 간격, 예를 들어 3 프레임마다 처리하면 액션 실행이 가속화되고 부드러워지며, 간격을 무작위화하면 시간적 섭동에 대한 강건성이 한층 더 높아집니다. 동시에 LLM 백본의 길이 외삽 능력을 활용해 StreamPI는 사전학습된 단일 프레임 가중치를 매끄럽게 계승하고 단일 프레임과 다중 프레임 추론을 모두 지원합니다.
산업 영향
추가 파라미터가 없는 설계는 기존 사전학습 가중치를 재사용하는 것이 훨씬 저렴해진는 오픈 소스 커뮤니티에 특히 매력적입니다. 파라미터를 추가하거나 처음부터 다시 학습할 필요가 없어, 연구자와 소규모 팀이 시퀀스 모델링을 파이프라인에 도입하는 장벽이 낮아집니다. 이는 조작 벤치마크 전반에 스트리밍 추론 실험을 가속화할 잠재력을 지닙니다.
산업적 배포 측면에서 무작위 간격 스트리밍 학습 전략은 학습의 동기적 조건과 실제 로봇의 비동기적 타이밍 사이의 불일치라는 구체적이고 지속적인 문제를 해결합니다. 실제 하드웨어는 타이밍 지터와 가변적인 프레임 도착률을 보이는데, 무작위화 전략은 이런 시간적 노드에 견디도록 모델을 명시적으로 학습시킵니다. 이로 인해 통제된 실험실 환경에서 통제되지 않은 실제 환경으로 넘어갈 때 시스템이 더 안정적으로 동작합니다.
StreamPI는 또 다른 추론 방식을 통합하는 재사용 가능한 패턴도 제시합니다. 단일 프레임과 다중 프레임 동작을 하나의 프레임워크 안에서 길이 외삽으로 지원함으로써, VLA 모델의 공통 아키텍처를 향한 방향을 제시합니다. 동일한 가중치가 서로 다른 지연 시간과 정확도 요구를 동시에 만족시킬 수 있어 팀들이 조작 시스템을 개발하고 배포하는 방식이 간소화될 수 있습니다.
전망
실험은 기억에 의존하고 정확한 지각을 포함하는 실제 로봇 과제와 보조 평가로서 LIBERO 시뮬레이션 벤치마크를 모두 아우릅니다. 다양한 과제 전반에 걸쳐 StreamPI는 pi0.5보다 우수했으며, 이는 시퀀스 모델링이 단일 프레임 모델이 어려움을 겪 정확히 그 상황에서 이득을 제공한다는 점을 확인줍니다. 개선이 단일 유리한 사례에 국한되지 않고 일반적이라는 신호입니다.
消融 실험 결과는 실무적 설계 선택을 강화합니다. 적절한 프레임 간격을 설정하면 실행 속도와 액션 부드러움이 동시에 향상되고, 간격을 무작위화하면 시간적 섭동에 대한 적응이 한층 더 강화됩니다. 이는 학습 시 도입된 무작위성이 단순한 학습 편의가 아니라 실제 배포에서의 안정성에 필수적임을 보여줍니다.
전반적으로 StreamPI는 파라미터 축적이 아닌 구조적 혁신을 통해 전-언어-행동 모델에 실용적인 시퀀스 추론을 주입합니다. 경량적이고 이전 가능하며 배포에 친화적인 특징은 로봇 조작 분야 연구와 실무 양쪽에 모두 참고 가치를 제공합니다. 향후 작업은 지시 앵커 스트리밍 프레임워크를 더 긴 에피소드, 더 풍부한 멀티모달 입력, 더 까다로운 실제 타이밍 조건으로 확장할 여지가 있습니다.