摘要

我们研究了在现有视频中合成新帧的问题，包括在已有帧之间插入新帧（插值）或在其后生成新帧（外推）。这一问题具有挑战性，因为视频的外观和运动可能非常复杂。传统的基于光流的方法在光流估计困难的情况下往往失败，而新型的基于神经网络的方法直接预测像素值时通常会产生模糊的结果。我们通过训练一个深度网络来结合这两种方法的优势，该网络学习如何通过流动已有的像素值来合成新的视频帧，我们将其称为深度体素流（Deep Voxel Flow）。我们的方法无需人工监督，任何视频都可以作为训练数据，只需删除并重新学习预测已有的帧即可。该技术效率高，并且可以应用于任意分辨率的视频。我们展示了该方法在定量和定性上均优于现有最先进技术的结果。