
摘要
基于深度学习的图像超分辨率(Super-Resolution, SR)技术因其强大的大数据处理能力而取得了迅猛发展。通常而言,网络结构越深、越宽,越能提取丰富的特征图,从而生成质量显著提升的超分辨率图像。然而,网络复杂度越高,实际应用中的计算耗时也相应增加。因此,构建一个结构简化但高效的网络以实现快速图像超分辨率具有重要意义。本文提出了一种基于注意力机制的反向投影网络(Attention-based Back Projection Network, ABPN),用于图像超分辨率任务。受近期一些研究工作的启发,我们认为反向投影机制在超分辨率任务中仍有进一步优化的空间。为此,本文设计了增强型反向投影模块,用于迭代更新低分辨率与高分辨率特征残差。同时,借鉴近年来注意力模型的研究成果,提出一种空间注意力模块(Spatial Attention Block, SAB),用于学习不同网络层之间特征的跨层相关性。基于“理想的超分辨率图像在下采样后应与原始低分辨率图像尽可能接近”的假设,本文进一步提出一种精细化反向投影模块(Refined Back Projection Block, RBPB),用于最终的图像重建。在多个公开数据集以及AIM2019图像超分辨率挑战赛数据集上的大量实验结果表明,所提出的ABPN方法在定量与定性评价指标上均达到了当前最优甚至更优的性能,验证了其有效性与先进性。
代码仓库
Holmes-Alan/ABPN
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| image-super-resolution-on-bsd100-16x | ABPN | PSNR: 22.72 SSIM: 0.512 |
| image-super-resolution-on-bsd100-4x-upscaling | ABPN | PSNR: 27.82 SSIM: 0.743 |
| image-super-resolution-on-bsd100-8x-upscaling | ABPN | PSNR: 24.99 SSIM: 0.604 |
| image-super-resolution-on-div2k-val-16x | ABPN | PSNR: 24.38 SSIM: 0.641 |
| image-super-resolution-on-div8k-val-16x | ABPN | PSNR: 26.71 SSIM: 0.65 |
| image-super-resolution-on-manga109-16x | ABPN | PSNR: 21.25 SSIM: 0.673 |
| image-super-resolution-on-manga109-4x | ABPN | PSNR: 31.79 SSIM: 0.921 |
| image-super-resolution-on-manga109-8x | ABPN | PSNR: 25.29 SSIM: 0.802 |
| image-super-resolution-on-set14-4x-upscaling | ABPN | PSNR: 28.94 SSIM: 0.789 |
| image-super-resolution-on-set14-8x-upscaling | ABPN | PSNR: 25.08 SSIM: 0.638 |
| image-super-resolution-on-set5-8x-upscaling | ABPN | PSNR: 27.25 SSIM: 0.786 |
| image-super-resolution-on-urban100-16x | ABPN | PSNR: 20.39 SSIM: 0.515 |
| image-super-resolution-on-urban100-4x | ABPN | PSNR: 27.06 SSIM: 0.811 |
| image-super-resolution-on-urban100-8x | ABPN | PSNR: 23.04 SSIM: 0.641 |