3 个月前

DRCT:摆脱信息瓶颈,拯救图像超分辨率

DRCT:摆脱信息瓶颈,拯救图像超分辨率

摘要

近年来,基于视觉Transformer(Vision Transformer)的低层视觉任务方法取得了广泛应用与显著成功。与基于卷积神经网络(CNN)的模型不同,Transformer在捕捉长距离依赖关系方面更具优势,能够利用非局部信息实现图像的高质量重建。在图像超分辨率领域,基于Swin Transformer的模型已成为主流,其凭借全局空间信息建模能力以及滑动窗口注意力机制,有效促进了不同窗口间的信息交互。许多研究者通过扩展感受野或设计精细的网络结构,显著提升了模型性能,取得了令人瞩目的成果。然而,我们观察到一个普遍现象:在网络深层,特征图的激活强度往往在接近输出端时突然被抑制至极小值。这一现象表明存在信息瓶颈,导致空间信息逐渐丢失,从而在隐性层面限制了模型的潜力。为解决该问题,本文提出一种密集残差连接的Transformer架构(Dense-Residual-Connected Transformer, DRCT),通过层间密集残差连接机制,有效缓解空间信息的损失,稳定信息流动,充分释放模型潜能,避免陷入信息瓶颈。实验结果表明,所提方法在多个基准数据集上均优于当前最先进的超分辨率技术,并在NTIRE-2024图像超分辨率(x4)挑战赛中表现优异。相关源代码已公开,可访问:https://github.com/ming053l/DRCT

代码仓库

ming053l/drct
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
image-super-resolution-on-bsd100-2x-upscalingDRCT-L
PSNR: 32.90
SSIM: 0.9078
image-super-resolution-on-bsd100-2x-upscalingDRCT
PSNR: 32.75
SSIM: 0.9071
image-super-resolution-on-bsd100-4x-upscalingDRCT-L
PSNR: 28.16
SSIM: 0.7577
image-super-resolution-on-bsd100-4x-upscalingDRCT
PSNR: 28.06
SSIM: 0.7533
image-super-resolution-on-manga109-2xDRCT
PSNR: 40.41
SSIM: 0.9814
image-super-resolution-on-manga109-2xDRCT-L
PSNR: 41.14
SSIM: 0.9842
image-super-resolution-on-manga109-4xDRCT-L
PSNR: 33.14
SSIM: 0.9347
image-super-resolution-on-manga109-4xDRCT
PSNR: 32.96
SSIM: 0.9324
image-super-resolution-on-set14-2x-upscalingDRCT-L
PSNR: 35.36
SSIM: 0.9302
image-super-resolution-on-set14-2x-upscalingDRCT
PSNR: 34.96
SSIM: 0.9287
image-super-resolution-on-set14-4x-upscalingDRCT-L
PSNR: 29.54
SSIM: 0.8025
image-super-resolution-on-set14-4x-upscalingDRCT
PSNR: 29.40
SSIM: 0.8003
image-super-resolution-on-set5-2x-upscalingDRCT-L
PSNR: 39.14
SSIM: 0.9658
image-super-resolution-on-set5-2x-upscalingDRCT
PSNR: 38.72
SSIM: 0.9646
image-super-resolution-on-set5-3x-upscalingDRCT
PSNR: 35.18
SSIM: 0.9338
image-super-resolution-on-set5-3x-upscalingDRCT-L
PSNR: 35.32
SSIM: 0.9348
image-super-resolution-on-urban100-2xDRCT-L
PSNR: 35.17
SSIM: 0.9516
image-super-resolution-on-urban100-2xDRCT
PSNR: 34.54
SSIM: 0.9474
image-super-resolution-on-urban100-4xDRCT-L
PSNR: 28.70
SSIM: 0.8508
image-super-resolution-on-urban100-4xDRCT
PSNR: 28.40
SSIM: 0.8457

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
DRCT:摆脱信息瓶颈,拯救图像超分辨率 | 论文 | HyperAI超神经