3 个月前

模糊越多,去模糊越佳:面向高效视频去模糊的多模糊2去模糊

模糊越多,去模糊越佳:面向高效视频去模糊的多模糊2去模糊

摘要

视频去模糊的关键组件之一在于如何有效利用邻近帧信息。近年来的先进方法通常采用与中心帧对齐的相邻帧,或通过递归方式将历史帧的信息传播至当前帧。本文提出一种新颖的“多模糊到去模糊”(Multi-Blur-to-Deblur, MB2D)概念,旨在高效利用邻近帧实现视频去模糊。首先,受未锐化掩模(unsharp masking)的启发,我们提出使用更多由长曝光生成的模糊图像作为额外输入,可显著提升模型性能。其次,我们设计了一种多模糊递归神经网络(Multi-Blurring Recurrent Neural Network, MBRNN),能够从邻近帧中合成更多模糊图像,从而在不改变现有视频去模糊方法的前提下,大幅提升去模糊效果。最后,我们提出一种结合MBRNN递归特征图的多尺度去模糊方法(Multi-Scale Deblurring with Connecting Recurrent Feature Map, MSDR),在GoPro和Su等主流数据集上实现了当前最优的去模糊性能,且在推理速度与内存效率方面均表现出色。

基准测试

基准方法指标
deblurring-on-dvd-1MB2D
PSNR: 32.34
deblurring-on-goproMB2D
PSNR: 32.16
SSIM: 0.953
image-deblurring-on-goproMB2D
PSNR: 32.16
SSIM: 0.953

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
模糊越多,去模糊越佳:面向高效视频去模糊的多模糊2去模糊 | 论文 | HyperAI超神经