摘要

本文提出了一种基于双边变换器（BiFormer）的新型4K视频帧插值方法，该方法包含三个步骤：全局运动估计、局部运动精炼和帧合成。首先，在全局运动估计阶段，我们在粗粒度尺度上预测对称的双边运动场。为此，本文提出了BiFormer，这是首个基于Transformer的双边运动估计算法。其次，我们通过分块双边代价体（Blockwise Bilateral Cost Volumes, BBCVs）高效地对全局运动场进行精炼。最后，利用精炼后的运动场对输入帧进行光流扭曲，并通过融合生成中间帧。大量实验结果表明，所提出的BiFormer算法在4K数据集上实现了优异的插值性能。源代码已公开，获取地址为：https://github.com/JunHeum/BiFormer。