摘要

我们提出了一种基于深度神经网络（DNN）的新型框架，称为“增强相关性匹配视频帧插值网络”（Enhanced Correlation Matching based Video Frame Interpolation Network），以支持高分辨率（如4K）视频的帧插值，尤其适用于具有大尺度运动和遮挡的场景。考虑到网络模型在不同分辨率下的可扩展性，所提方案采用递归金字塔架构，通过在金字塔各层之间共享参数来实现光流估计。在光流估计过程中，通过追踪相关性最大位置的方式，对光流进行递归精炼。基于前向变形的相关性匹配机制，能够有效排除遮挡区域附近错误变形的特征，从而提升光流更新的准确性。在获得最终的双向光流后，利用变形与融合网络合成任意时间位置的中间帧，并进一步通过精炼网络进行优化。实验结果表明，该方法在4K视频数据以及低分辨率基准数据集上，均在客观与主观质量方面优于现有方法，且所用模型参数量最小。