3 个月前

用于图像超分辨率的双聚合Transformer

用于图像超分辨率的双聚合Transformer

摘要

近年来,Transformer在低层视觉任务中获得了广泛关注,尤其在图像超分辨率(Image Super-Resolution, SR)领域表现出色。这类网络通过在空间维度或通道维度上引入自注意力机制,实现了卓越的性能。受此启发,我们提出将空间与通道两个维度进行协同融合,以构建更具表达能力的模型。基于这一思路,本文提出一种新型Transformer架构——双聚合Transformer(Dual Aggregation Transformer, DAT),用于图像超分辨率任务。所提出的DAT模型在块间(inter-block)与块内(intra-block)两个层面,分别实现空间与通道维度的特征聚合。具体而言,我们在连续的Transformer块中交替应用空间自注意力与通道自注意力机制,该交替策略使模型能够有效捕捉全局上下文信息,并实现块间的特征聚合。此外,我们设计了自适应交互模块(Adaptive Interaction Module, AIM)与空间门控前馈网络(Spatial-Gate Feed-Forward Network, SGFN),以实现块内的特征聚合。其中,AIM通过融合来自不同维度的自注意力机制,增强特征表达能力;而SGFN则在前馈网络中引入额外的非线性空间信息,进一步提升模型对空间结构的建模能力。大量实验结果表明,所提出的DAT模型在多个基准数据集上均显著优于现有方法。代码与模型已开源,获取地址为:https://github.com/zhengchen1999/DAT。

代码仓库

zhengchen1999/dat
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
image-super-resolution-on-manga109-4xDAT+
PSNR: 32.67
SSIM: 0.9301
image-super-resolution-on-manga109-4xDAT
PSNR: 32.51
SSIM: 0.9291
image-super-resolution-on-set14-4x-upscalingDAT+
PSNR: 29.29
SSIM: 0.7983
image-super-resolution-on-set14-4x-upscalingDAT
PSNR: 29.23
SSIM: 0.7973

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
用于图像超分辨率的双聚合Transformer | 论文 | HyperAI超神经