4 个月前

DeblurGAN-v2:去模糊(数量级)更快且更好

DeblurGAN-v2:去模糊(数量级)更快且更好

摘要

我们提出了一种新的端到端生成对抗网络(GAN),用于单幅图像运动去模糊,命名为DeblurGAN-v2,该网络显著提升了当前最先进的去模糊效率、质量和灵活性。DeblurGAN-v2基于相对论条件GAN,并采用了双尺度判别器。首次,我们将特征金字塔网络(Feature Pyramid Network)引入去模糊任务中,作为DeblurGAN-v2生成器的核心构建模块。它可以灵活地与多种主干网络配合使用,以平衡性能和效率。通过插入复杂的主干网络(例如Inception-ResNet-v2),可以实现当前最先进水平的去模糊效果。同时,使用轻量级主干网络(例如MobileNet及其变体),DeblurGAN-v2的速度比最近的竞争对手快10至100倍,同时仍能保持接近最先进水平的结果,这意味着其具备实时视频去模糊的潜力。我们展示了DeblurGAN-v2在多个流行的基准测试中取得了非常有竞争力的表现,无论是在去模糊质量(包括客观和主观评价)还是在效率方面。此外,我们还证明了该架构在一般的图像恢复任务中也具有有效性。我们的代码、模型和数据可在以下网址获取:https://github.com/KupynOrest/DeblurGANv2

代码仓库

vcarehuman/YoloPose
pytorch
GitHub 中提及
KupynOrest/DeblurGANv2
官方
pytorch
GitHub 中提及
TAMU-VITA/DeblurGANv2
pytorch
GitHub 中提及
kritiksoman/GIMP-ML
pytorch
GitHub 中提及
vita-group/deblurganv2
pytorch
GitHub 中提及
HDCVLab/MC-Blur-Dataset
pytorch
GitHub 中提及

基准测试

基准方法指标
blind-face-restoration-on-celeba-testDeblurGANv2*
Deg.: 39.64
FID: 52.69
LPIPS: 40.01
NIQE: 4.917
PSNR: 25.91
SSIM: 0.6952
deblurring-on-basedDeblurGAN Inception
Subjective: 1.0375
deblurring-on-based-1DeblurGAN Inception
ERQAv2.0: 0.74297
LPIPS: 0.08867
PSNR: 31.17171
SSIM: 0.94301
VMAF: 66.91781
deblurring-on-goproDeblurGAN-v2
PSNR: 29.55
SSIM: 0.934
deblurring-on-goproDeblurGANv2-MobileNet
PSNR: 28.17
SSIM: 0.925
deblurring-on-goproDeblurGANv2-MobileNet-DSC
PSNR: 28.03
SSIM: 0.922
deblurring-on-realblur-j-1DeblurGAN-v2
PSNR (sRGB): 29.69
Params(M): 5.08
SSIM (sRGB): 0.870
deblurring-on-realblur-j-trained-on-goproDeblurGAN-v2
PSNR (sRGB): 28.70
SSIM (sRGB): 0.866
deblurring-on-realblur-rDeblurGAN-v2
PSNR (sRGB): 36.44
SSIM (sRGB): 0.935
deblurring-on-realblur-r-trained-on-goproDeblurGAN-v2
SSIM (sRGB): 0.944
image-deblurring-on-goproDeblurGAN-v2
PSNR: 29.55
Params (M): 5.08
SSIM: 0.925
image-deblurring-on-goproDeblurGANv2-MobileNet
PSNR: 28.17
image-deblurring-on-goproDeblurGANv2-MobileNet-DSC
PSNR: 28.03
SSIM: 0.922

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
DeblurGAN-v2:去模糊(数量级)更快且更好 | 论文 | HyperAI超神经