摘要
图像去噪是一项基础但极具挑战性的任务,尤其在处理高分辨率图像及复杂噪声模式时更为困难。现有大多数方法依赖于标准的Transformer架构,这类方法通常面临计算复杂度高以及对不同噪声水平适应能力有限的问题。本文提出一种新型基于Transformer的模型——自适应卷积膨胀Transformer(Adaptive Kernel Dilation Transformer, AKDT),充分挖掘卷积操作中可学习膨胀率的潜力。AKDT由多个层级和自定义模块构成,其中包含我们提出的新型可学习膨胀率(Learnable Dilation Rate, LDR)模块,该模块被用于构建噪声估计器(Noise Estimator, NE)。在AKDT的核心结构中,NE模块无缝嵌入标准Transformer组件,形成噪声引导前馈网络(Noise-Guided Feed-Forward Network, NG-FFN)与噪声引导多头自注意力机制(Noise-Guided Multi-Headed Self-Attention, NG-MSA)。这些受噪声调制的Transformer组件使模型在实现卓越去噪性能的同时,显著降低了计算开销。在多个图像去噪基准上的大量实验表明,AKDT达到了新的最先进水平,能够有效应对真实噪声与合成噪声。项目源代码及预训练模型已公开发布于:https://github.com/albrateanu/AKDT。
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| color-image-denoising-on-cbsd68-sigma15 | AKDT | PSNR: 34.64 |
| color-image-denoising-on-cbsd68-sigma25 | AKDT | PSNR: 31.94 |
| color-image-denoising-on-cbsd68-sigma50 | AKDT | PSNR: 28.68 |
| color-image-denoising-on-mcmaster-sigma15 | AKDT | PSNR: 36.71 |
| color-image-denoising-on-mcmaster-sigma25 | AKDT | PSNR: 34.21 |
| color-image-denoising-on-mcmaster-sigma50 | AKDT | PSNR: 30.95 |
| color-image-denoising-on-urban100-sigma15-1 | AKDT | Average PSNR: 35.63 PSNR: 35.63 |
| color-image-denoising-on-urban100-sigma25 | AKDT | PSNR: 33.14 |
| color-image-denoising-on-urban100-sigma50 | AKDT | PSNR: 29.82 |
| image-denoising-on-sidd | AKDT | PSNR (sRGB): 39.70 SSIM (sRGB): 0.961 |
| image-denoising-on-urban100-sigma15 | AKDT | Average PSNR: 35.64 |
| image-denoising-on-urban100-sigma50 | AKDT | PSNR: 29.82 |