摘要

视频中的视觉信号可以分为内容和运动两部分。内容部分指定了视频中包含哪些对象，而运动部分描述了这些对象的动态变化。基于这一前提，我们提出了用于视频生成的运动与内容分解生成对抗网络（MoCoGAN）框架。该框架通过将一系列随机向量映射到一系列视频帧来生成视频。每个随机向量由一个内容部分和一个运动部分组成。在生成过程中，内容部分保持固定，而运动部分则实现为一个随机过程。为了以无监督的方式学习运动和内容的分解，我们引入了一种新的对抗学习方案，该方案同时利用图像判别器和视频判别器。我们在多个具有挑战性的数据集上进行了广泛的实验，并通过定性和定量的方法与现有最先进方法进行了对比，验证了所提框架的有效性。此外，我们还展示了MoCoGAN能够生成具有相同内容但不同运动的视频，以及具有不同内容但相同运动的视频。