
摘要
作为一项基础的低层视觉任务,图像增强广泛应用于各类计算机视觉场景中。近年来,结合卷积神经网络(CNN)、多层感知机(MLP)、Transformer 以及傅里叶变换的多种方法在图像增强任务中取得了令人瞩目的成果。然而,这些方法在精度与计算成本之间难以实现良好平衡。本文将图像增强建模为一个信号调制问题,提出了一种名为 WaveNet 的新架构,该架构在多种参数设置下均表现出色,并通过波状特征表示提升了特征表达能力。具体而言,为更有效地捕捉波状特征表示,我们受傅里叶变换启发,将图像中的每个像素建模为一个由三个波函数(余弦波,Cosine Wave, CW;正弦波,Sine Wave, SW;门控波,Gating Wave, GW)构成的信号函数的采样值。生成波状特征需要确定波的振幅与相位。其中,振幅项保留了特征的原始内容信息,而相位项则用于调制不同输入与固定权重之间的关系。为动态获取振幅与相位,我们设计了波变换模块(Wave Transform Block, WTB),该模块能够自适应地生成波形,并调节波的叠加模式。基于 WTB,我们构建了一个高效的图像增强架构——WaveNet。在六个真实世界数据集上的大量实验表明,所提方法在定量与定性指标上均优于当前最先进的技术。相关源代码与预训练模型已开源,可访问:https://github.com/DeniJsonC/WaveNet。
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| low-light-image-enhancement-on-lol | WaveNet-S | Average PSNR: 24.54 LPIPS: 0.1 SSIM: 0.856 |
| low-light-image-enhancement-on-lol | WaveNet-B_ | Average PSNR: 27.22 LPIPS: 0.083 SSIM: 0.873 |
| low-light-image-enhancement-on-lol | WaveNet-B | Average PSNR: 25.44 LPIPS: 0.09 SSIM: 0.864 |
| low-light-image-enhancement-on-lol | WaveNet-T (80k parameters) | Average PSNR: 23.59 LPIPS: 0.14 SSIM: 0.839 |