摘要

给定两帧连续的画面，视频插值的目标是在这两帧之间生成中间帧，以形成在空间和时间上连贯的视频序列。尽管现有的大多数方法集中在单帧插值上，我们提出了一种端到端的卷积神经网络，用于可变长度多帧视频插值，其中运动解释和遮挡推理是联合建模的。我们首先使用U-Net架构计算输入图像之间的双向光流。然后，在每个时间步骤中对这些光流进行线性组合，以近似中间的双向光流。然而，这些近似光流仅在局部平滑区域表现良好，在运动边界附近会产生伪影。为了解决这一不足，我们使用另一个U-Net来细化近似光流，并预测软可见性图。最后，通过将两个输入图像进行变形并线性融合来生成每帧中间帧。在融合之前应用可见性图到变形后的图像上，可以排除被遮挡像素对插值中间帧的贡献，从而避免伪影的产生。由于我们的所有学习网络参数都不依赖于时间，因此我们的方法能够根据需要生成任意数量的中间帧。我们使用了1,132段240 fps的视频片段（包含30万个单独的视频帧）来训练我们的网络。在多个数据集上的实验结果表明，无论预测多少个插值中间帧，我们的方法都始终优于现有方法。