摘要

视频生成任务可被表述为：在给定历史视频帧的基础上，预测未来的视频帧。近期的视频生成模型面临计算资源需求高的问题，部分模型在并行训练过程中甚至需要多达512个张量处理单元（Tensor Processing Units）。在本研究中，我们通过在潜在空间中建模动态过程来解决这一问题。首先将视频帧转换至潜在空间，随后采用自回归方式预测下一帧的潜在表示。我们在BAIR Robot Pushing和Kinetics-600数据集上验证了所提方法的有效性。实验结果表明，该方法可将模型训练所需的GPU数量降至8个，同时保持与现有方法相当的生成质量。