摘要

我们的研究探讨了基于生成对抗网络（GAN）的视频生成任务中的时间自监督方法。尽管对抗训练在许多领域成功地产生了生成模型，但生成数据中的时间关系却较少被研究。自然的时间变化对于顺序生成任务至关重要，例如视频超分辨率和非配对视频翻译。对于前者，最先进的方法通常倾向于使用较为简单的范数损失（如$L^2$）而非对抗训练。然而，这些方法的平均性质容易导致时间上平滑的结果，而缺乏空间细节。对于非配对视频翻译，现有的方法通过修改生成器网络来形成时空循环一致性。相比之下，我们专注于改进学习目标，并提出了一种时间自监督算法。我们展示了在两个任务中，时间对抗学习是实现时间连贯解决方案而不牺牲空间细节的关键。此外，我们还提出了一种新的Ping-Pong损失函数，以提高长期时间一致性。该损失函数有效地防止了递归网络在时间上的累积伪影，同时不会抑制详细特征。另外，我们提出了第一套度量指标，用于定量评估时间演化的准确性和感知质量。一系列用户研究表明，这些度量指标计算出的排名得到了确认。代码、数据、模型和结果可在https://github.com/thunil/TecoGAN获取。项目页面https://ge.in.tum.de/publications/2019-tecogan-chu/包含补充材料。