VideoRAE：冻结视频基础模型表示，重塑生成式视频底层架构

视频生成模型的发展长期以来依赖于由3D变分自编码器（3D-VAEs）学习到的潜在空间。然而，传统的3D-VAE主要优化像素级重建，这往往限制了其潜在变量对视频语义信息和复杂时空结构的捕捉能力。与此同时，以V-JEPA 2和VideoMAEv2为代表的视频基础模型（VFMs）在视频理解任务中展现了卓越的性能，但其冻结状态下的特征表示能否被转化为紧凑、可重建且对生成任务友好的视频潜在表示，这一领域此前尚未得到充分探索。本文的核心贡献在于提出了VideoRAE，这是一种全新的表示自编码器架构。它直接利用冻结的视频基础编码器提取的多尺度分层特征，并通过一个轻量级的1D自注意力投影器进行高效压缩。VideoRAE不仅解决了传统方法语义保留不足的问题，还通过创新的量化策略，同时支持连续潜在变量和离散令牌，从而能够灵活适配Diffusion Transformers和自回归生成模型两大主流生成范式，为视频生成提供了更强大的底层表征基础。在技术方法层面，VideoRAE的设计巧妙地结合了预训练视频基础模型的强大表征能力与自编码器的重构需求。

具体而言，该方法首先冻结一个强大的视频基础模型作为教师编码器，提取输入视频的多尺度分层特征。这些特征包含了从低级边缘到高级语义的丰富信息。为了将这些高维特征压缩为紧凑的潜在表示，VideoRAE引入了一种轻量级的1D自注意力投影器。这种设计既保留了特征间的时序依赖性，又显著降低了计算复杂度。在解码阶段，VideoRAE采用了一种独特的局部与全局表示对齐目标，强制解码器重建的特征与冻结的VFM教师特征在语义上保持一致。这种对齐机制使得模型能够在没有KL散度正则化的情况下进行训练，从而避免了传统VAE中常见的后验坍塌问题，并显著提升了生成视频的语义保真度。此外，通过多维码本的高维量化技术，VideoRAE能够灵活地在连续潜在空间和离散令牌空间之间切换，满足了不同生成架构的需求。

实验结果充分验证了VideoRAE的有效性和优越性。在UCF-101视频生成基准测试中，VideoRAE展现了强大的重建和生成能力。具体而言，在使用自回归（AR）生成器时，其类到视频的gFVD指标达到了40；在使用Diffusion Transformer（DiT）生成器时，该指标为93，均达到了当前最先进水平（SOTA）。更引人注目的是，VideoRAE的收敛速度比现有的竞争性自编码器基线快了约5倍，这极大地提高了训练效率。在更复杂的2B规模文本到视频生成研究中，研究人员在受控环境下将传统的LTX-VAE替换为VideoRAE。结果显示，在相同设置下，使用VideoRAE的模型收敛速度更快，生成质量更稳定。消融实验进一步表明，局部与全局表示对齐目标对于保持视频语义一致性至关重要，而1D自注意力投影器则在保持压缩效率的同时最大化了信息保留。

这些结果共同证明了冻结的视频基础模型表示不仅适用于理解任务，同样可以作为高效、通用的生成式视频潜在表示。VideoRAE的提出对视频生成领域具有深远的行业意义和潜在影响。首先，它打破了传统3D-VAE在语义表征上的瓶颈，证明了利用预训练视频基础模型的冻结特征可以构建出更高质量的生成式潜在空间。这对于推动视频基础模型从"理解"向"生成"能力的延伸具有重要启示。其次，VideoRAE的双模态支持（连续与离散）使其能够无缝集成到现有的Diffusion和自回归生成框架中，降低了开发者的适配成本，促进了不同生成范式的融合。对于开源社区而言，VideoRAE提供了高质量的代码和模型权重，将为后续研究提供坚实的基准。在工业落地方面，其更快的收敛速度和更高的生成质量意味着更低的训练成本和更好的用户体验，有望在视频内容创作、影视特效生成等领域得到广泛应用。未来，这一思路可能启发更多基于预训练基础模型的生成式架构设计，推动视频生成技术向更高效、更智能的方向发展。