4 个月前

基于区间密集连接策略的Swin Transformer低质量图像分辨率增强处理

基于区间密集连接策略的Swin Transformer低质量图像分辨率增强处理

摘要

基于Transformer的方法在图像超分辨率方面表现出色,相较于卷积神经网络(CNN)方法具有显著优势。然而,使用如SwinIR(使用Swin Transformer进行图像恢复)中的自注意力机制来提取图像特征信息需要大量的计算资源,这限制了其在低计算能力平台上的应用。为了提高模型特征重用率,本研究提出了一种间隔密集连接策略(Interval Dense Connection Strategy),该策略根据新设计的算法连接不同的模块。我们将此策略应用于SwinIR,并提出了一个新模型,命名为SwinOIR(使用Swin Transformer进行目标图像恢复)。针对图像超分辨率任务,我们进行了消融实验以证明间隔密集连接策略对模型性能的积极影响。此外,我们在多个流行的基准数据集上评估了我们的模型,并将其与其他最先进的轻量级模型进行了比较。例如,在Urban100数据集上,SwinOIR在4倍放大图像超分辨率任务中获得了26.62 dB的PSNR值,比最先进的模型SwinIR高0.15 dB。对于实际应用,本研究将最新版本的You Only Look Once(YOLOv8)模型和所提出的模型应用于低质量图像的目标检测和实际生活中的图像超分辨率任务。该实现代码已公开发布于https://github.com/Rubbbbbbbbby/SwinOIR。

代码仓库

rubbbbbbbbby/swinoir
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
image-super-resolution-on-bsd100-2x-upscalingSwinOIR
PSNR: 32.34
SSIM: 0.9022
image-super-resolution-on-bsd100-3x-upscalingSwinOIR
PSNR: 29.27
SSIM: 0.8111
image-super-resolution-on-bsd100-4x-upscalingSwinOIR
PSNR: 27.76
SSIM: 0.7441
image-super-resolution-on-set14-2x-upscalingSwinOIR
PSNR: 33.97
SSIM: 0.922
image-super-resolution-on-set14-3x-upscalingSwinOIR
PSNR: 30.65
SSIM: 0.8493
image-super-resolution-on-set14-4x-upscalingSwinOIR
PSNR: 28.92
SSIM: 0.7892
image-super-resolution-on-set5-2x-upscalingSwinOIR
PSNR: 38.21
SSIM: 0.9614
image-super-resolution-on-set5-3x-upscalingSwinOIR
PSNR: 34.69
SSIM: 0.9296
image-super-resolution-on-urban100-2xSwinOIR
PSNR: 32.83
SSIM: 0.9353
image-super-resolution-on-urban100-3xSwinOIR
PSNR: 28.87
SSIM: 0.8674
image-super-resolution-on-urban100-4xSwinOIR
PSNR: 26.74
SSIM: 0.806

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于区间密集连接策略的Swin Transformer低质量图像分辨率增强处理 | 论文 | HyperAI超神经