3 个月前

用于单张图像去雾的视觉Transformer

用于单张图像去雾的视觉Transformer

摘要

图像去雾是一项典型的低层视觉任务,旨在从有雾图像中恢复出无雾的原始图像。近年来,基于卷积神经网络(CNN)的方法在图像去雾领域占据主导地位。然而,尽管视觉Transformer在高层视觉任务中取得了突破性进展,却尚未为图像去雾带来新的研究范式。本文以当前流行的Swin Transformer为基础,发现其多项关键设计并不适用于图像去雾任务。为此,我们提出了DehazeFormer,该模型通过多项改进实现性能提升,包括改进的归一化层、激活函数以及空间信息聚合机制。我们在多个数据集上训练了DehazeFormer的多种变体,以验证其有效性。具体而言,在最常用的SOTS室内数据集上,我们的小型模型仅需FPA-Net约25%的参数量和5%的计算成本,便实现了超越其性能的表现。据我们所知,我们的大型模型是首个在SOTS室内数据集上PSNR超过40 dB的去雾方法,显著优于此前的最先进方法。此外,我们还构建了一个大规模真实遥感去雾数据集,用于评估该方法在去除高度非均匀雾霾方面的实际能力。

代码仓库

IDKiro/DehazeFormer
pytorch
GitHub 中提及

基准测试

基准方法指标
image-dehazing-on-reside-6kDehazeFormer-B
PSNR: 31.45
SSIM: 0.98
image-dehazing-on-rs-hazeDehazeFormer-B
PSNR: 39.87
SSIM: 0.971
image-dehazing-on-sots-indoorDehazeFormer-L
PSNR: 40.05
SSIM: 0.996
image-dehazing-on-sots-outdoorDehazeFormer-B
PSNR: 34.95
SSIM: 0.984

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
用于单张图像去雾的视觉Transformer | 论文 | HyperAI超神经