摘要

本研究旨在通过利用预训练的文本到图像（T2I）模型作为基础，学习一个高质量的文本到视频（T2V）生成模型。同时实现a）生成视觉逼真且时间上连贯的视频，以及b）保持预训练T2I模型强大的创造性生成能力，是一项极具吸引力但极具挑战性的任务。为此，我们提出LaVie——一种基于级联视频潜在扩散模型的集成视频生成框架，该框架包含一个基础T2V模型、一个时间插值模型和一个视频超分辨率模型。我们的核心洞察有两点：1）我们发现，引入简单的时序自注意力机制，并结合旋转位置编码（rotary positional encoding），能够充分捕捉视频数据中固有的时间相关性；2）此外，我们验证了图像与视频联合微调过程在生成高质量且富有创意的视频结果中起到了关键作用。为进一步提升LaVie的性能，我们构建了一个全面且多样化的视频数据集——Vimeo25M，该数据集包含2500万对文本-视频样本，其构建注重内容质量、多样性与美学价值。大量实验表明，LaVie在定量与定性评价上均达到了当前最优水平。此外，我们还展示了预训练的LaVie模型在长视频生成及个性化视频合成等多种应用场景中的卓越泛化能力与实用性。