StreamPI：視覺-語言-動作模型的流式多模態時間序列建模
本文針對視覺-語言-動作（VLA）模型在機器人操作中普遍採用的單幀範式展開研究，指出以 pi0.5 為代表的先進模型因缺乏對歷史觀測的記憶能力，難以維持精確的空間感知。作者提出 StreamPI，一個流式多模態時間序列建模框架，在不引入任何額外參數的前提下為單幀 VLA 賦予時間序列推理能力。核心設計為指令錨定時間序列建模：將每個（視覺觀測、語言指令）對視為原子時間單元，單元內採用雙向注意力實現跨模態融合，單元間採用因果注意力保留自回歸流式推理，使語言指令成為貫穿任務始終的持久語義錨點。為彌合同步訓練與異步真實機器人部署之間的差距，作者提出隨機區間流式訓練策略，合適的幀間隔（如每 3 幀）可加快並平滑動作執行，隨機化區間則進一步提升對幀時間序列擾動的魯棒性。借助 LLM 主干的長度外推能力，StreamPI 無縫繼承預訓練單幀權重，並支援單幀與多幀靈活推理。在涵蓋記憶依賴與精確感知場景的真實機器人任務以及 LIBERO 仿真基準上的實驗表明，StreamPI 在多樣任務上均優於 pi0.5。
在机器人操作领域，视觉-语言-动作（VLA）模型已被证明具有显著有效性，但以 pi0.5 为代表的先进模型大多运行于单帧范式之下，即每次推理仅依赖当前单一观测帧。这种设计虽然简洁高效，却限制了模型对过去观测的保留能力，也难以形成精确的空间感知。针对这一根本局限，本文提出 StreamPI，一个流式多模态时序建模框架，其最大亮点在于完全不引入任何额外参数的情况下，为单帧 VLA 模型赋予了时序推理能力。这一设计思路的意义在于，它没有选择通过堆叠参数或复杂模块来增强时序建模，而是从建模结构本身出发，让已有的预训练模型自然获得利用历史信息的能力，从而在保持轻量性的同时实现了能力的跃升。这是本篇论文最核心的贡献所在，也为后续讨论奠定了基调。 在技术方法上，StreamPI 的核心设计是指针锚定的时序建模（instruction-anchored temporal modeling）。该设计将每个（视觉观测、语言指令）对视为一个原子时间单元，在单元内部采用双向注意力机制以实现跨模态融合，使视觉与语言信息能够充分交互；而在单元之间则采用因果注意力机制，以保留自回归的流式推理特性，确保模型在实时部署时能够按时间顺序逐帧处理。这种内外有别的注意力结构非常关键：内部双向注意力保证单帧内的模态理解深度，外部因果注意力保证跨帧的时序一致性。语言指令在此过程中充当贯穿整个任务执行的持久语义锚点，使模型在长时序操作中始终围绕明确的目标进行推理。为弥合同步训练与异步真实机器人部署之间的差距，作者进一步提出随机区间流式训练策略。合适的帧间隔（例如每 3 帧）能够加快并平滑动作执行，而对区间进行随机化则进一步提升了模型对帧时序扰动的鲁棒性，从而在实际的异步部署中表现更加稳定。此外，借助 LLM 主干模型具备的长度外推能力，StreamPI 能够无缝继承预训练的单帧权重，并支持单帧与多帧的灵活推理，这大大降低了迁移成本。 在实验设置与关键结果方面，作者在涵盖记忆依赖场景与精确感知场景的真实机器人任务上进行了广泛评估，同时采用了仿真基准 LIBERO 作为补充验证。记忆依赖场景要求模型利用历史观测完成指令，而精确感知场景则对空间定位能力提出更高要求，这两类场景恰好对应了单帧范式的两大短板。实验结果表明，StreamPI 在多样任务上均优于 pi0.5，充分验证了时序建模带来的增益。消融层面的发现同样具有指导意义：合理的帧间隔设置能够同时提升执行速度与动作平滑度，而随机化帧间隔则进一步增强了模型对时序扰动的适应能力，说明训练阶段的随机性设计对实际部署的稳定性至关重要。这些结果共同说明，StreamPI 并非在单一优势场景下取得提升，而是能够在多种典型操作任务中实现普遍性的性能改进，体现了方法的通用性与实用性。 在行业意义与潜在影响方面，StreamPI 的无额外参数设计对开源社区具有很强的吸引力，因为它允许研究者直接复用已有的预训练单帧权重，无需从头训练，大幅降低了采用时序建模的门槛。对于工业落地而言，随机区间流式训练策略所解决的同步训练与异步部署之间的鸿沟，正是机器人系统从实验室走向真实环境的关键难题，这一设计使模型能够更好地适应真实硬件的时序不确定性。对于后续研究，借助 LLM 主干长度外推能力实现单帧与多帧灵活推理的思路，为统一不同推理模式提供了新的范式，也为进一步扩展 VLA 模型的时序理解能力开辟了方向。总体而言，StreamPI 以结构创新而非参数堆叠的方式，为视觉-语言-动作模型注入了实用的时序推理能力，其轻量、可迁移、适配部署的特点，使其在机器人操作的研究与工程实践中都具有重要的参考价值。