摘要

我们识别出视频生成中存在的两种病理性的时序不一致现象：视频冻结（video freezing）与视频循环（video looping）。为更有效地量化时序多样性，我们提出了一类互补性度量指标，该类指标具有高效性、易于实现、数据无关性以及可解释性等优点。此外，我们观察到当前最先进的模型通常在固定长度的视频样本上进行训练，这限制了其对长期时序依赖的建模能力。为解决这一问题，我们将视频生成问题重新建模为马尔可夫决策过程（Markov Decision Process, MDP）。其核心思想是将运动建模为具有无限预测时域的随机过程，从而突破固定长度的限制，并有效缓解时序伪影的出现。实验表明，该方法可简便地集成至当前最先进的MoCoGAN框架中。在Human Actions与UCF-101数据集上的实验结果表明，基于MDP的模型不仅在内存效率方面表现更优，且在新提出的与已有评价指标上均显著提升了视频生成质量。