Velox：用空间记忆给视频世界模型的注意力"划重点"

视频世界模型把动作和相机运动转换成长段的视觉推演，让视频成为交互式仿真的天然界面。可交互意味着生成必须足够快，而画面要前后连贯，又要求模型记住已经生成过的内容。现在主流的分块（chunked）视频扩散模型，通常把这些历史上下文存放在不断增长的 KV cache 里。结果很直接：推演越长，缓存越大，后面的每个 chunk 就越慢。这篇论文盯住的正是这个瓶颈。作者提出 Velox，一个不需要训练的 attention 路由器，按区域级别挑选上下文，依据是来自流式几何（streaming geometry）的视锥切片（frustum slab）对应关系。它的核心想法可以概括为：空间记忆本身就能告诉模型，当前要画的区域该去看哪些历史块，不必让所有历史块都参与计算。

论文给出的结论是，在第 48 个 chunk 时，Velox 让 attention 加速 4.36 倍，去噪整体加速 2.43 倍，而在完整的 158 例 WBench 导航测试集上，与稠密基线 LingBot-Fast-Cam 的平均得分差距在 0.15 分以内。具体做法分几步。第一步，Velox 把每个历史块表示成一个相机视锥切片：它带有深度区间，记录这个块在三维空间里大致覆盖了哪一段区域。第二步，当前块的深度并不是凭空得到，而是通过 recency-priority multiwarp 获得，也就是把历史深度按时间新近优先的顺序多次 warp 到当前视角。第三步，对于被历史良好覆盖的区域，视锥切片之间的重叠程度会软性地调制（soft modulate）每一层由模型自己算出的块重要性分数。注意这里是调制而不是硬性替换，模型原有的判断仍然保留。第四步，对于没有被覆盖的区域，Velox 不加任何几何偏置，沿用模型自己推导出的路由。

这个设计很稳妥：几何信息可靠时才介入，不可靠时就退回原状。在执行层面，路由粒度固定为 token block，与 FlashAttention 风格的分块（tiled）计算对齐，因此能真正跳过不需要的块，削减随推演长度增长的那部分 attention 开销。另外，视锥切片的构建与去噪在同一块 H200 上异步运行，几何计算的代价被藏在去噪的时间里，不会额外拖慢生成。整个方法无需训练，可以直接套在现有模型上。实验部分，摘要披露的信息集中在两个维度：速度和质量。速度上，作者选取第 48 个 chunk 作为观测点，这正是历史上下文已经很长、稠密 attention 最吃力的位置。在这里，Velox 把 attention 本身加速了 4.36 倍，把整个去噪过程加速了 2.43 倍。

两个数字的差距也容易理解：去噪里除了 attention，还有其他不随历史增长的计算，所以端到端的收益小于 attention 单项的收益。质量上，作者在完整的 WBench 导航测试集（共 158 个用例）上评测，对比对象是稠密的 LingBot-Fast-Cam。指标是不依赖外部 API 的平均分（API-free average），Velox 与稠密基线的差距不超过 0.15 分。也就是说，省掉大量历史块的计算之后，导航任务上的整体表现几乎没有损失。需要说明的是，摘要没有给出消融实验的细节，因此各组件（视锥切片、multiwarp、软调制）各自的贡献大小，这里无法下结论，读者需要查阅项目页面或原文。另外，这些速度数字是在 H200 上、几何构建异步进行的前提下测得，换用其他硬件后收益可能不同。这项工作的意义首先在于它换了一个看问题的角度。

许多长上下文加速方法依赖通用的稀疏化或压缩，而 Velox 利用的是世界模型独有的结构：场景有三维几何，相机有位置，历史内容在空间里有明确的位置关系。用空间记忆来决定看哪里，比单纯按注意力分数或时间远近取舍更有依据。其次是工程上的友好度。它不需要训练，不改变模型权重，粒度又与 FlashAttention 的分块执行吻合，这意味着已经训练好的视频世界模型，有机会低成本地获得更快的长程推演速度。对要做实时交互仿真、游戏式场景或具身智能训练环境的团队来说，推演越长越慢是实际的落地障碍，这类方法正是针对它。再次，几何构建与去噪异步并行，说明辅助模块的开销可以被流水线隐藏，这对后续设计类似的外挂式路由器是个参考。当然，方法依赖流式几何提供的深度，几何估计出错时的鲁棒性，以及更长推演下的表现，都是后续研究值得追问的方向。作者提供了项目页面，感兴趣的读者可以去看更多演示。