4 个月前

ShadowFormer:全局上下文有助于图像阴影去除

ShadowFormer:全局上下文有助于图像阴影去除

摘要

近期的深度学习方法在图像阴影去除方面取得了令人鼓舞的成果。然而,大多数现有的方法主要集中在阴影区域和非阴影区域内的局部处理上,导致在阴影边界附近出现严重的伪影以及阴影区域与非阴影区域之间光照不一致的问题。对于深度阴影去除模型而言,利用全局上下文关联来改善这一问题仍然具有挑战性。在这项工作中,我们首先提出了一种基于Retinex理论的阴影模型,并从该模型中推导出一种新的基于Transformer的网络,命名为ShandowFormer,以利用非阴影区域帮助恢复阴影区域。为了分层次地捕捉全局信息,我们采用了多尺度通道注意力框架。在此基础上,我们在瓶颈阶段提出了一个带有阴影交互注意力(Shadow-Interaction Attention, SIA)机制的阴影交互模块(Shadow-Interaction Module, SIM),以有效建模阴影区域与非阴影区域之间的上下文关联。我们在三个流行的公开数据集ISTD、ISTD+和SRD上进行了广泛的实验,评估了所提出的方法。实验结果表明,我们的方法在使用多达150倍更少的模型参数的情况下仍能达到最先进的性能。

代码仓库

guolanqing/shadowformer
官方
pytorch
GitHub 中提及
BlackJoke76/OmniSR
pytorch
GitHub 中提及

基准测试

基准方法指标
shadow-removal-on-istdShadowFormer
MAE: 4.79
shadow-removal-on-istd-1ShadowFormer (AAAI 2023) (512x512)
LPIPS: 0.204
PSNR: 28.07
RMSE: 3.06
SSIM: 0.847
shadow-removal-on-istd-1ShadowFormer (AAAI 2023) (256x256)
LPIPS: 0.35
PSNR: 26.55
RMSE: 3.45
SSIM: 0.728
shadow-removal-on-srdShadowFormer (AAAI 2023) (512x512)
LPIPS: 0.228
PSNR: 25.6
RMSE: 3.9
SSIM: 0.819
shadow-removal-on-srdShadowFormer (AAAI 2023) (256x256)
LPIPS: 0.348
PSNR: 24.28
RMSE: 4.44
SSIM: 0.715

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
ShadowFormer:全局上下文有助于图像阴影去除 | 论文 | HyperAI超神经