摘要

基于运动的视频帧插值通常依赖光流将输入帧的像素映射至目标插值时刻。然而，由于运动估计本身存在固有挑战（如遮挡和运动不连续性），当前大多数先进的插值方法仍需对光流 warped 结果进行后续精炼，以生成高质量输出，这极大地降低了多帧插值的效率。为此，本文提出一种完全可微的多对多（Many-to-Many, M2M）点投影（splatting）框架，实现高效帧插值。具体而言，针对一对输入帧，我们估计多组双向光流，直接将像素前向映射至目标时间点，并对重叠区域的像素进行融合。在此机制下，每个源帧像素可贡献于多个目标帧像素，而每个目标像素亦可由更广泛的视觉上下文区域合成，从而构建出具有强鲁棒性的多对多点投影结构，有效缓解孔洞等伪影问题。此外，对于每一对输入帧，M2M仅需进行一次运动估计，在插值任意数量中间帧时计算开销极低，因而实现了快速的多帧插值。我们开展了大量实验对M2M进行分析，结果表明，该方法在显著提升效率的同时，仍能保持优异的插值效果。