摘要

我们提出W.A.L.T，一种基于Transformer的扩散建模方法，用于生成逼真的视频。该方法包含两个关键设计决策：首先，我们采用因果编码器（causal encoder），在统一的潜在空间中联合压缩图像与视频，从而实现跨模态的联合训练与生成；其次，为提升内存效率与训练效率，我们设计了一种适用于联合空间与时空生成建模的窗口注意力（window attention）架构。上述设计共同使我们在不使用分类器自由引导（classifier-free guidance）的前提下，于现有的视频生成基准（UCF-101与Kinetics-600）以及图像生成基准（ImageNet）上均取得了当前最优的性能表现。此外，我们还针对文本到视频生成任务，训练了一个由三个模型组成的级联结构：包括一个基础的潜在视频扩散模型，以及两个视频超分辨率扩散模型，最终可生成分辨率为 $512 \times 896$、帧率为每秒8帧的高质量视频。