3 个月前

WaveNet:波形感知的图像增强

WaveNet:波形感知的图像增强

摘要

作为一项基础的低层视觉任务,图像增强广泛应用于各类计算机视觉场景中。近年来,结合卷积神经网络(CNN)、多层感知机(MLP)、Transformer 以及傅里叶变换的多种方法在图像增强任务中取得了令人瞩目的成果。然而,这些方法在精度与计算成本之间难以实现良好平衡。本文将图像增强建模为一个信号调制问题,提出了一种名为 WaveNet 的新架构,该架构在多种参数设置下均表现出色,并通过波状特征表示提升了特征表达能力。具体而言,为更有效地捕捉波状特征表示,我们受傅里叶变换启发,将图像中的每个像素建模为一个由三个波函数(余弦波,Cosine Wave, CW;正弦波,Sine Wave, SW;门控波,Gating Wave, GW)构成的信号函数的采样值。生成波状特征需要确定波的振幅与相位。其中,振幅项保留了特征的原始内容信息,而相位项则用于调制不同输入与固定权重之间的关系。为动态获取振幅与相位,我们设计了波变换模块(Wave Transform Block, WTB),该模块能够自适应地生成波形,并调节波的叠加模式。基于 WTB,我们构建了一个高效的图像增强架构——WaveNet。在六个真实世界数据集上的大量实验表明,所提方法在定量与定性指标上均优于当前最先进的技术。相关源代码与预训练模型已开源,可访问:https://github.com/DeniJsonC/WaveNet。

基准测试

基准方法指标
low-light-image-enhancement-on-lolWaveNet-S
Average PSNR: 24.54
LPIPS: 0.1
SSIM: 0.856
low-light-image-enhancement-on-lolWaveNet-B_
Average PSNR: 27.22
LPIPS: 0.083
SSIM: 0.873
low-light-image-enhancement-on-lolWaveNet-B
Average PSNR: 25.44
LPIPS: 0.09
SSIM: 0.864
low-light-image-enhancement-on-lolWaveNet-T (80k parameters)
Average PSNR: 23.59
LPIPS: 0.14
SSIM: 0.839

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
WaveNet:波形感知的图像增强 | 论文 | HyperAI超神经