
摘要
基于Transformer的方法在图像超分辨率方面表现出色,相较于卷积神经网络(CNN)方法具有显著优势。然而,使用如SwinIR(使用Swin Transformer进行图像恢复)中的自注意力机制来提取图像特征信息需要大量的计算资源,这限制了其在低计算能力平台上的应用。为了提高模型特征重用率,本研究提出了一种间隔密集连接策略(Interval Dense Connection Strategy),该策略根据新设计的算法连接不同的模块。我们将此策略应用于SwinIR,并提出了一个新模型,命名为SwinOIR(使用Swin Transformer进行目标图像恢复)。针对图像超分辨率任务,我们进行了消融实验以证明间隔密集连接策略对模型性能的积极影响。此外,我们在多个流行的基准数据集上评估了我们的模型,并将其与其他最先进的轻量级模型进行了比较。例如,在Urban100数据集上,SwinOIR在4倍放大图像超分辨率任务中获得了26.62 dB的PSNR值,比最先进的模型SwinIR高0.15 dB。对于实际应用,本研究将最新版本的You Only Look Once(YOLOv8)模型和所提出的模型应用于低质量图像的目标检测和实际生活中的图像超分辨率任务。该实现代码已公开发布于https://github.com/Rubbbbbbbbby/SwinOIR。
代码仓库
Mind23-2/MindCode-101/tree/main/IPT
mindspore
rubbbbbbbbby/swinoir
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| image-super-resolution-on-bsd100-2x-upscaling | SwinOIR | PSNR: 32.34 SSIM: 0.9022 |
| image-super-resolution-on-bsd100-3x-upscaling | SwinOIR | PSNR: 29.27 SSIM: 0.8111 |
| image-super-resolution-on-bsd100-4x-upscaling | SwinOIR | PSNR: 27.76 SSIM: 0.7441 |
| image-super-resolution-on-set14-2x-upscaling | SwinOIR | PSNR: 33.97 SSIM: 0.922 |
| image-super-resolution-on-set14-3x-upscaling | SwinOIR | PSNR: 30.65 SSIM: 0.8493 |
| image-super-resolution-on-set14-4x-upscaling | SwinOIR | PSNR: 28.92 SSIM: 0.7892 |
| image-super-resolution-on-set5-2x-upscaling | SwinOIR | PSNR: 38.21 SSIM: 0.9614 |
| image-super-resolution-on-set5-3x-upscaling | SwinOIR | PSNR: 34.69 SSIM: 0.9296 |
| image-super-resolution-on-urban100-2x | SwinOIR | PSNR: 32.83 SSIM: 0.9353 |
| image-super-resolution-on-urban100-3x | SwinOIR | PSNR: 28.87 SSIM: 0.8674 |
| image-super-resolution-on-urban100-4x | SwinOIR | PSNR: 26.74 SSIM: 0.806 |