
摘要
基于深度学习的单图像超分辨率方法利用大量训练数据集,最近在定量和定性方面都取得了显著的质量进步。大多数深度网络通过残差学习专注于从低分辨率输入到高分辨率输出的非线性映射,而没有深入探索特征抽象和分析。我们提出了一种分层反投影网络(Hierarchical Back Projection Network, HBPN),该网络级联多个HourGlass(HG)模块,以自底向上和自顶向下的方式处理所有尺度上的特征,捕捉各种空间相关性,然后整合最佳表示用于重建。我们在提出的网络中采用了反投影块,提供与误差相关的上采样和下采样过程,以替代简单的反卷积和池化过程,从而实现更好的估计。一种新的基于Softmax的加权重建(Weighted Reconstruction, WR)过程被用来结合HG模块的输出,进一步提高超分辨率效果。在多个数据集(包括真实图像超分辨率挑战赛NTIRE2019的验证数据集)上的实验结果表明,我们提出的方法在不同的缩放因子下可以达到并超越现有最先进方法的性能。
代码仓库
Holmes-Alan/HBPN
官方
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| image-super-resolution-on-bsd100-2x-upscaling | HBPN | PSNR: 32.33 SSIM: 0.902 |
| image-super-resolution-on-bsd100-4x-upscaling | HBPN | PSNR: 27.77 SSIM: 0.743 |
| image-super-resolution-on-bsd100-8x-upscaling | HBPN | PSNR: 24.93 SSIM: 0.602 |
| image-super-resolution-on-manga109-2x | HBPN | PSNR: 39.3 SSIM: 0.979 |
| image-super-resolution-on-manga109-4x | HBPN | PSNR: 31.57 SSIM: 0.92 |
| image-super-resolution-on-manga109-8x | HBPN | PSNR: 25.24 SSIM: 0.802 |
| image-super-resolution-on-set14-2x-upscaling | HBPN | PSNR: 33.78 SSIM: 0.921 |
| image-super-resolution-on-set14-4x-upscaling | HBPN | PSNR: 28.67 SSIM: 0.785 |
| image-super-resolution-on-set14-8x-upscaling | HBPN | PSNR: 24.96 SSIM: 0.642 |
| image-super-resolution-on-set5-2x-upscaling | HBPN | PSNR: 38.13 SSIM: 0.961 |
| image-super-resolution-on-set5-8x-upscaling | HBPN | PSNR: 27.17 SSIM: 0.785 |
| image-super-resolution-on-urban100-2x | HBPN | PSNR: 33.12 SSIM: 0.938 |
| image-super-resolution-on-urban100-4x | HBPN | PSNR: 27.3 SSIM: 0.818 |
| image-super-resolution-on-urban100-8x | HBPN | PSNR: 23.04 SSIM: 0.647 |