摘要

视频生成需要在时间上合成具有动态内容的一致性和持久性的帧。本研究探讨了使用生成对抗网络（GANs）建模时间关系，以组成任意长度的视频，从几帧到无限帧。首先，为了合成相邻帧，我们展示了单图像生成中的无混叠操作与充分预学习知识相结合，可以在不牺牲每帧质量的前提下实现平滑的帧过渡。其次，通过将原本用于视频理解的时间移位模块（Temporal Shift Module, TSM）引入判别器中，我们成功地提升了生成器在合成更一致动态方面的能力。第三，我们开发了一种基于B样条的新运动表示方法，以确保时间上的平滑性，从而实现无限长度的视频生成。该方法可以超越训练时使用的帧数。此外，还提出了一种低秩时间调制方法来缓解长视频生成中的重复内容问题。我们在多个数据集上评估了我们的方法，并显示了相对于视频生成基线模型的显著改进。代码和模型将在https://genforce.github.io/StyleSV 公开发布。