3 个月前

基于CLIP-傅里叶引导小波扩散的低光照图像增强

基于CLIP-傅里叶引导小波扩散的低光照图像增强

摘要

低光照图像增强技术已取得显著进展,但图像质量恢复不稳定以及视觉感知效果不理想仍是亟待解决的关键挑战。为应对这些问题,本文提出一种新颖且鲁棒的低光照图像增强方法——基于CLIP-傅里叶引导小波扩散(CLIP-Fourier Guided Wavelet Diffusion,简称CFWD)。具体而言,CFWD利用多小波变换在频域空间中构建的多模态视觉-语言信息,指导图像增强过程。通过跨不同模态的多尺度监督机制,有效实现了小波扩散过程中图像特征与语义特征的对齐,从而显著缩小退化图像域与正常图像域之间的差距。此外,为进一步提升图像细节的恢复能力,本文结合基于小波变换的傅里叶变换,设计了一种混合高频感知模块(Hybrid High Frequency Perception Module, HFPM),该模块对细节特征具有显著的感知能力。通过引导增强结果的细粒度结构恢复,HFPM有效缓解了小波扩散过程中的特征混淆问题,实现了在客观指标与主观视觉质量上的双重优化。在多个公开的真实世界基准数据集上进行的大量定量与定性实验表明,所提方法显著优于现有最先进方法,在图像质量提升与噪声抑制方面均取得了实质性进展。项目代码已开源,可访问 https://github.com/hejh8/CFWD。

代码仓库

hejh8/cfwd
官方
pytorch
GitHub 中提及
He-Jinhong/CFWD
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
low-light-image-enhancement-on-lolCFWD
Average PSNR: 29.185
SSIM: 0.872
low-light-image-enhancement-on-lolv2CFWD
Average PSNR: 29.855
SSIM: 0.891

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于CLIP-傅里叶引导小波扩散的低光照图像增强 | 论文 | HyperAI超神经