
摘要
近年来,图像超分辨率研究主要由基于Transformer的模型主导,但由于自注意力机制具有二次方复杂度,这类模型所需的计算资源远高于卷积神经网络(CNN)。为此,我们提出了一种新型神经网络——WaveMixSR,该模型基于WaveMix架构,利用二维离散小波变换(2D-discrete wavelet transform)实现空间维度上的特征混合(spatial token-mixing)。与基于Transformer的模型不同,WaveMixSR并未将图像展开为像素或图像块的序列,而是结合了卷积操作的归纳偏置(inductive bias)以及小波变换的无损特征混合特性,在显著降低计算资源消耗和训练数据需求的同时,实现了更优的性能表现。我们对WaveMixSR在图像超分辨率任务中的性能进行了全面评估,并与当前主流的先进方法进行了对比。实验结果表明,WaveMixSR在所有测试数据集上均表现出具有竞争力的性能,并在BSD100数据集上的多个超分辨率任务中达到了当前最优水平。相较于现有最先进模型,WaveMixSR不仅在更低的训练数据量和更少的计算资源下实现了优异性能,同时保持了更高的参数效率,展现出良好的实用潜力。
代码仓库
pranavphoenix/WaveMixSR
官方
pytorch
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| image-super-resolution-on-bsd100-2x-upscaling | WaveMixSR | PSNR: 33.08 SSIM: 0.9322 |
| image-super-resolution-on-bsd100-4x-upscaling | WaveMixSR | SSIM: 0.7605 |