摘要

我们提出一种高分辨率视频帧预测方法，该方法同时基于历史帧和历史光流进行条件建模。以往的方法主要依赖于基于学习的未来光流对历史帧进行重采样，或直接生成像素。然而，基于光流的重采样方法无法有效处理遮挡区域（disocclusions）；而当前主流的生成模型往往导致预测结果模糊。近期的一些方法通过将输入图像块与预测的卷积核进行卷积来合成像素，但其内存开销随卷积核尺寸增大而显著上升。为此，本文提出一种空间位移卷积（Spatially-Displaced Convolution, SDC）模块，用于视频帧预测。该模块为每个像素学习一个运动向量和一个卷积核，并通过将该卷积核应用于源图像中由预测运动向量所定义的偏移位置，实现像素的合成。所提方法融合了基于向量与基于核的两种方法的优势，同时有效缓解了它们各自的局限性。我们在42.8万张未标注的1080p游戏视频帧上训练模型。实验结果表明，该方法在高分辨率YouTube-8M视频上达到0.904的SSIM得分，在Caltech行人视频数据集上达到0.918的SSIM得分，均达到当前最优水平。所提模型能够有效处理大范围运动，并生成清晰、运动一致的预测帧。