
摘要
以往的方法将盲超分辨率(SR)问题分解为两个连续的步骤:\textit{i}) 从给定的低分辨率(LR)图像中估计模糊核;\textit{ii}) 基于估计的模糊核恢复超分辨率图像。这种两步解决方案涉及两个独立训练的模型,它们之间可能不完全兼容。第一步中的小误差可能会导致第二步性能大幅下降。另一方面,第一步只能利用LR图像中的有限信息,这使得预测高精度模糊核变得困难。针对这些问题,我们没有将这两个步骤分开考虑,而是采用了交替优化算法,在单个模型中同时估计模糊核并恢复超分辨率图像。具体而言,我们设计了两个卷积神经模块,分别命名为\textit{恢复器}(Restorer)和\textit{估计器}(Estimator)。\textit{恢复器}基于预测的模糊核恢复超分辨率图像,而\textit{估计器}则在恢复的超分辨率图像的帮助下估计模糊核。我们反复交替这两个模块,并展开这一过程以形成一个端到端可训练的网络。通过这种方式,\textit{估计器}可以利用LR和SR图像的信息,从而使得模糊核的估计更加容易。更重要的是,\textit{恢复器}是使用由\textit{估计器}估计的模糊核进行训练的,而不是使用真实的模糊核,因此\textit{恢复器}对\textit{估计器}的估计误差具有更高的容忍度。在合成数据集和真实世界图像上的大量实验表明,我们的模型在很大程度上优于现有最先进方法,并且能够在更高速度下产生更令人满意的视觉效果。源代码可在以下地址获取:https://github.com/greatlog/DAN.git。
代码仓库
greatlog/DAN
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| blind-super-resolution-on-bsd100-2x-upscaling | DAN | PSNR: 31.76 SSIM: 0.8858 |
| blind-super-resolution-on-bsd100-4x-upscaling | DAN | PSNR: 27.51 SSIM: 0.7248 |
| blind-super-resolution-on-div2krk-2x | DAN | PSNR: 32.56 SSIM: 0.8997 |
| blind-super-resolution-on-div2krk-4x | DANv1 | PSNR: 27.55 SSIM: 0.7582 |
| blind-super-resolution-on-manga109-2x | DAN | PSNR: 37.23 SSIM: 0.971 |
| blind-super-resolution-on-manga109-4x | DAN | PSNR: 30.5 SSIM: 0.9037 |
| blind-super-resolution-on-set14-2x-upscaling | DAN | PSNR: 33.07 SSIM: 0.9068 |
| blind-super-resolution-on-set14-4x-upscaling | DAN | PSNR: 28.43 SSIM: 0.7693 |
| blind-super-resolution-on-set5-2x-upscaling | DAN | PSNR: 37.33 SSIM: 0.9526 |
| blind-super-resolution-on-set5-4x-upscaling | DAN | PSNR: 31.89 SSIM: 0.8864 |
| blind-super-resolution-on-urban100-2x | DAN | PSNR: 30.6 SSIM: 0.902 |
| blind-super-resolution-on-urban100-4x | DAN | PSNR: 25.86 SSIM: 0.7721 |