摘要

视频帧合成（video frame synthesis）包括插值与外推两种操作，是一种重要的视频处理技术，可广泛应用于多种场景。然而，现有大多数方法在处理小目标或大运动时表现不佳，尤其在高分辨率视频（如4K视频）中更为明显。为克服上述局限性，本文提出一种基于邻域对应匹配（Neighbor Correspondence Matching, NCM）的光流驱动帧合成算法。由于在帧合成过程中当前帧不可用，NCM采用与当前帧无关（current-frame-agnostic）的策略，在每个像素的时空邻域内建立多尺度对应关系。基于NCM强大的运动建模能力，我们进一步提出一种异构的粗到细（coarse-to-fine）框架，用于估计中间光流以实现帧合成。具体而言，粗粒度模块利用邻域对应关系捕捉大范围运动，而细粒度模块则具有更高的计算效率，从而加速估计过程。两个模块采用渐进式训练策略，有效弥合了训练数据集与真实视频之间的分辨率差异。实验结果表明，NCM在多个基准测试上均达到了当前最优性能。此外，NCM可广泛应用于视频压缩等多种实际场景，并显著提升性能。