VideoRAE：利用表示自編碼器馴服視頻基礎模型以用於生成式建模

本文提出VideoRAE，一種創新的表示自編碼器，旨在突破傳統3D變分自編碼器在捕捉語義和時空結構方面的侷限性。VideoRAE利用凍結的視頻基礎模型（如V-JEPA 2和VideoMAEv2）的多尺度分層特徵，通過輕量級1D自注意力投影器進行高效壓縮。該方法支援通過多維碼本量化生成連續潛在變數用於Diffusion Transformers，或離散令牌用於自回歸模型。實驗表明，VideoRAE在UCF-101數據集上取得最先進的生成質量指標，且收斂速度比傳統基線快5倍。在2B規模文本到視頻生成任務中，替換LTX-VAE後表現出更快的收斂性。該研究驗證了凍結視頻基礎模型的表示作為生成友好型視頻潛在表示的通用性，為視頻生成提供了無需從頭學習表示的統一框架。