3 个月前

用于视频帧插值的非对称双边运动估计

用于视频帧插值的非对称双边运动估计

摘要

我们提出了一种基于非对称双边运动估计(Asymmetric Bilateral Motion Estimation, ABME)的新型视频帧插值算法,用于在两帧输入图像之间合成中间帧。首先,我们预测对称的双边运动场,以插值生成一个参考帧(anchor frame);其次,从该参考帧向两个输入帧估计非对称的双边运动场;第三,利用这些非对称运动场将输入帧反向 warp,进而重建中间帧;最后,为进一步优化中间帧的质量,我们设计了一种新型融合网络,该网络结合局部与全局信息,生成一组动态滤波器和残差帧,实现更精确的帧合成。实验结果表明,所提算法在多个数据集上均取得了优异的性能。相关源代码与预训练模型已开源,可访问 https://github.com/JunHeum/ABME 获取。

代码仓库

junheum/abme
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
video-frame-interpolation-on-msu-video-frameABME
LPIPS: 0.039
MS-SSIM: 0.945
PSNR: 27.99
SSIM: 0.919
VMAF: 68.10
video-frame-interpolation-on-ucf101-1ABME
PSNR: 35.38
SSIM: 0.9698
video-frame-interpolation-on-vimeo90kABME
PSNR: 36.18
SSIM: 0.9805
video-frame-interpolation-on-x4k1000fpsABME
PSNR: 30.16
SSIM: 0.8793

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
用于视频帧插值的非对称双边运动估计 | 论文 | HyperAI超神经