
摘要
我们提出了一种新的端到端生成对抗网络(GAN),用于单幅图像运动去模糊,命名为DeblurGAN-v2,该网络显著提升了当前最先进的去模糊效率、质量和灵活性。DeblurGAN-v2基于相对论条件GAN,并采用了双尺度判别器。首次,我们将特征金字塔网络(Feature Pyramid Network)引入去模糊任务中,作为DeblurGAN-v2生成器的核心构建模块。它可以灵活地与多种主干网络配合使用,以平衡性能和效率。通过插入复杂的主干网络(例如Inception-ResNet-v2),可以实现当前最先进水平的去模糊效果。同时,使用轻量级主干网络(例如MobileNet及其变体),DeblurGAN-v2的速度比最近的竞争对手快10至100倍,同时仍能保持接近最先进水平的结果,这意味着其具备实时视频去模糊的潜力。我们展示了DeblurGAN-v2在多个流行的基准测试中取得了非常有竞争力的表现,无论是在去模糊质量(包括客观和主观评价)还是在效率方面。此外,我们还证明了该架构在一般的图像恢复任务中也具有有效性。我们的代码、模型和数据可在以下网址获取:https://github.com/KupynOrest/DeblurGANv2
代码仓库
vcarehuman/YoloPose
pytorch
GitHub 中提及
KupynOrest/DeblurGANv2
官方
pytorch
GitHub 中提及
TAMU-VITA/DeblurGANv2
pytorch
GitHub 中提及
kritiksoman/GIMP-ML
pytorch
GitHub 中提及
vita-group/deblurganv2
pytorch
GitHub 中提及
HDCVLab/MC-Blur-Dataset
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| blind-face-restoration-on-celeba-test | DeblurGANv2* | Deg.: 39.64 FID: 52.69 LPIPS: 40.01 NIQE: 4.917 PSNR: 25.91 SSIM: 0.6952 |
| deblurring-on-based | DeblurGAN Inception | Subjective: 1.0375 |
| deblurring-on-based-1 | DeblurGAN Inception | ERQAv2.0: 0.74297 LPIPS: 0.08867 PSNR: 31.17171 SSIM: 0.94301 VMAF: 66.91781 |
| deblurring-on-gopro | DeblurGAN-v2 | PSNR: 29.55 SSIM: 0.934 |
| deblurring-on-gopro | DeblurGANv2-MobileNet | PSNR: 28.17 SSIM: 0.925 |
| deblurring-on-gopro | DeblurGANv2-MobileNet-DSC | PSNR: 28.03 SSIM: 0.922 |
| deblurring-on-realblur-j-1 | DeblurGAN-v2 | PSNR (sRGB): 29.69 Params(M): 5.08 SSIM (sRGB): 0.870 |
| deblurring-on-realblur-j-trained-on-gopro | DeblurGAN-v2 | PSNR (sRGB): 28.70 SSIM (sRGB): 0.866 |
| deblurring-on-realblur-r | DeblurGAN-v2 | PSNR (sRGB): 36.44 SSIM (sRGB): 0.935 |
| deblurring-on-realblur-r-trained-on-gopro | DeblurGAN-v2 | SSIM (sRGB): 0.944 |
| image-deblurring-on-gopro | DeblurGAN-v2 | PSNR: 29.55 Params (M): 5.08 SSIM: 0.925 |
| image-deblurring-on-gopro | DeblurGANv2-MobileNet | PSNR: 28.17 |
| image-deblurring-on-gopro | DeblurGANv2-MobileNet-DSC | PSNR: 28.03 SSIM: 0.922 |