摘要

视频帧插值是视频处理研究中最具挑战性的任务之一。近年来，许多基于深度学习的研究被提出。大多数这些方法专注于寻找包含有用信息的位置，以利用其自身的帧扭曲操作来估计每个输出像素。然而，许多方法存在自由度（Degrees of Freedom, DoF）限制，无法处理现实世界视频中的复杂运动。为了解决这一问题，我们提出了一种新的扭曲模块——自适应流协作（Adaptive Collaboration of Flows, AdaCoF）。我们的方法为每个目标像素估计核权重和偏移向量，以合成输出帧。与其他方法相比，AdaCoF 是最通用的扭曲模块之一，并且涵盖了它们中的大多数作为其特殊情况。因此，它可以处理广泛复杂的运动域。为了进一步改进我们的框架并生成更加逼真的输出，我们引入了仅适用于视频帧插值任务的双帧对抗损失（dual-frame adversarial loss）。实验结果表明，我们的方法在固定训练集环境和 Middlebury 基准测试中均优于现有的最先进方法。