摘要

实时视频帧插值（VFI）在视频处理、媒体播放器和显示设备等领域具有重要应用价值。本文提出了一种名为RIFE（Real-time Intermediate Flow Estimation）的实时中间帧估计算法，用于实现高质量的基于光流的视频帧插值。为实现高效且高质量的VFI，RIFE采用一种名为IFNet的神经网络架构，能够端到端地快速估计中间光流，显著提升处理速度。此外，本文设计了一种优越的蒸馏训练策略，有效提升IFNet的训练稳定性并进一步优化整体性能。RIFE无需依赖预训练的光流模型，且可通过时间编码输入支持任意时间步长的帧插值。实验结果表明，RIFE在多个公开基准数据集上均达到了当前最先进的性能。与广受认可的SuperSlomo和DAIN方法相比，RIFE的处理速度提升了4至27倍，同时生成的插值结果质量更优。此外，得益于时间编码机制，RIFE具备良好的可扩展性，可拓展至更广泛的应用场景。代码已开源，地址为：https://github.com/megvii-research/ECCV2022-RIFE。