3 个月前

基于注意力机制的反向投影网络实现图像超分辨率

基于注意力机制的反向投影网络实现图像超分辨率

摘要

基于深度学习的图像超分辨率(Super-Resolution, SR)技术因其强大的大数据处理能力而取得了迅猛发展。通常而言,网络结构越深、越宽,越能提取丰富的特征图,从而生成质量显著提升的超分辨率图像。然而,网络复杂度越高,实际应用中的计算耗时也相应增加。因此,构建一个结构简化但高效的网络以实现快速图像超分辨率具有重要意义。本文提出了一种基于注意力机制的反向投影网络(Attention-based Back Projection Network, ABPN),用于图像超分辨率任务。受近期一些研究工作的启发,我们认为反向投影机制在超分辨率任务中仍有进一步优化的空间。为此,本文设计了增强型反向投影模块,用于迭代更新低分辨率与高分辨率特征残差。同时,借鉴近年来注意力模型的研究成果,提出一种空间注意力模块(Spatial Attention Block, SAB),用于学习不同网络层之间特征的跨层相关性。基于“理想的超分辨率图像在下采样后应与原始低分辨率图像尽可能接近”的假设,本文进一步提出一种精细化反向投影模块(Refined Back Projection Block, RBPB),用于最终的图像重建。在多个公开数据集以及AIM2019图像超分辨率挑战赛数据集上的大量实验结果表明,所提出的ABPN方法在定量与定性评价指标上均达到了当前最优甚至更优的性能,验证了其有效性与先进性。

代码仓库

Holmes-Alan/ABPN
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
image-super-resolution-on-bsd100-16xABPN
PSNR: 22.72
SSIM: 0.512
image-super-resolution-on-bsd100-4x-upscalingABPN
PSNR: 27.82
SSIM: 0.743
image-super-resolution-on-bsd100-8x-upscalingABPN
PSNR: 24.99
SSIM: 0.604
image-super-resolution-on-div2k-val-16xABPN
PSNR: 24.38
SSIM: 0.641
image-super-resolution-on-div8k-val-16xABPN
PSNR: 26.71
SSIM: 0.65
image-super-resolution-on-manga109-16xABPN
PSNR: 21.25
SSIM: 0.673
image-super-resolution-on-manga109-4xABPN
PSNR: 31.79
SSIM: 0.921
image-super-resolution-on-manga109-8xABPN
PSNR: 25.29
SSIM: 0.802
image-super-resolution-on-set14-4x-upscalingABPN
PSNR: 28.94
SSIM: 0.789
image-super-resolution-on-set14-8x-upscalingABPN
PSNR: 25.08
SSIM: 0.638
image-super-resolution-on-set5-8x-upscalingABPN
PSNR: 27.25
SSIM: 0.786
image-super-resolution-on-urban100-16xABPN
PSNR: 20.39
SSIM: 0.515
image-super-resolution-on-urban100-4xABPN
PSNR: 27.06
SSIM: 0.811
image-super-resolution-on-urban100-8xABPN
PSNR: 23.04
SSIM: 0.641

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于注意力机制的反向投影网络实现图像超分辨率 | 论文 | HyperAI超神经