3 个月前

基于全注意力网络的单图像超分辨率

基于全注意力网络的单图像超分辨率

摘要

在单图像超分辨率任务中,信息丰富的特征起着至关重要的作用。通道注意力机制已被证明能够有效保留每一层中的信息丰富特征。然而,传统的通道注意力将每个卷积层视为独立处理过程,忽略了不同层之间的关联性。为解决这一问题,本文提出一种新型的全局注意力网络(Holistic Attention Network, HAN),该网络由层注意力模块(Layer Attention Module, LAM)和通道-空间注意力模块(Channel-Spatial Attention Module, CSAM)组成,旨在建模层间、通道间以及空间位置之间的全局依赖关系。具体而言,所提出的LAM通过考虑层间的相关性,自适应地增强分层特征;同时,CSAM在每个通道的所有位置上学习注意力置信度,从而有选择性地捕获更具信息量的特征。大量实验结果表明,所提出的HAN在性能上优于当前最先进的单图像超分辨率方法。

代码仓库

04RR/SOTA-Vision
pytorch
GitHub 中提及
wwlCape/HAN
pytorch
GitHub 中提及

基准测试

基准方法指标
image-super-resolution-on-bsd100-2x-upscalingHAN+
PSNR: 32.45
SSIM: 0.8431
image-super-resolution-on-bsd100-3x-upscalingHAN+
PSNR: 29.41
SSIM: 0.8116
image-super-resolution-on-bsd100-4x-upscalingHAN+
PSNR: 27.85
SSIM: 0.7454
image-super-resolution-on-bsd100-8x-upscalingHAN+
PSNR: 25.04
SSIM: 0.6075
image-super-resolution-on-manga109-2xHAN+
PSNR: 39.62
SSIM: 0.9787
image-super-resolution-on-manga109-3xHAN+
PSNR: 34.87
SSIM: 0.9509
image-super-resolution-on-manga109-4xHAN+
PSNR: 31.73
SSIM: 0.9207
image-super-resolution-on-manga109-8xHAN+
PSNR: 25.54
SSIM: 0.8080
image-super-resolution-on-set14-2x-upscalingHAN+
PSNR: 34.24
SSIM: 0.9224
image-super-resolution-on-set14-3x-upscalingHAN+
PSNR: 30.79
SSIM: 0.8487
image-super-resolution-on-set14-4x-upscalingHAN+
PSNR: 28.99
SSIM: 0.7907
image-super-resolution-on-set14-8x-upscalingHAN+
PSNR: 25.39
SSIM: 0.6552
image-super-resolution-on-set5-2x-upscalingHAN+
PSNR: 38.33
SSIM: 0.9299
image-super-resolution-on-set5-3x-upscalingHAN+
PSNR: 34.85
SSIM: 0.9300
image-super-resolution-on-set5-8x-upscalingHAN+
PSNR: 27.47
SSIM: 0.7920
image-super-resolution-on-urban100-2xHAN+
PSNR: 33.53
SSIM: 0.9398
image-super-resolution-on-urban100-3xHAN+
PSNR: 29.21
SSIM: 0.8710
image-super-resolution-on-urban100-4xHAN+
PSNR: 27.02
SSIM: 0.8131
image-super-resolution-on-urban100-8xHAN+
PSNR: 23.20
SSIM: 0.6518

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于全注意力网络的单图像超分辨率 | 论文 | HyperAI超神经