摘要

近年来，视频预测——即根据过去的视频帧预测未来的视频内容——这一任务在研究界引起了广泛关注。本文提出了一种基于向量量化变分自编码器（Vector Quantized Variational Autoencoders, VQ-VAE）的新型方法来解决该问题。通过VQ-VAE，我们将高分辨率视频压缩为分层的、多尺度的离散潜在变量集合。相较于原始像素空间，该压缩后的潜在空间维度显著降低，从而使得我们能够应用可扩展的自回归生成模型进行视频预测。与以往研究主要聚焦于高度受限的数据集不同，本文重点关注多样性强、规模庞大的数据集，如Kinetics-600。在无需约束条件的视频上，我们实现了256×256分辨率的视频预测，这一分辨率高于目前已知的任何其他方法。此外，我们通过众包形式的人类评估，对所提出方法与先前工作进行了对比验证，进一步证明了其有效性。