
摘要
本文提出了一种使用非配对数据进行阴影去除的新方法,使我们能够避免繁琐的标注过程并获得更加多样的训练样本。然而,直接采用对抗学习和循环一致性约束不足以学习阴影域与无阴影域之间的潜在关系,因为阴影图像与无阴影图像之间的映射并非简单的单对应关系。为了解决这一问题,我们设计了Mask-ShadowGAN,这是一种新的深度框架,能够自动从输入的阴影图像中生成阴影掩模,并通过重新定义的循环一致性约束利用该掩模指导阴影生成。特别地,该框架同时学习生成阴影掩模和去除阴影,以最大化整体性能。此外,我们准备了一个用于阴影去除的非配对数据集,并在各种实验中展示了Mask-ShadowGAN的有效性,即使其是在非配对数据上训练的。
代码仓库
mducducd/ghost-free-shadow-removal
tf
GitHub 中提及
wkhademi/ImageEnhancement
tf
GitHub 中提及
xw-hu/Mask-ShadowGAN
pytorch
mducducd/Shadow-Removal
tf
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| shadow-removal-on-istd-1 | Mask-ShadowGAN (ICCV 2019) (512x512) | LPIPS: 0.196 PSNR: 26.51 RMSE: 3.42 SSIM: 0.865 |
| shadow-removal-on-istd-1 | Mask-ShadowGAN (ICCV 2019) (256x256) | LPIPS: 0.377 PSNR: 25.5 RMSE: 3.7 SSIM: 0.72 |
| shadow-removal-on-srd | Mask-ShadowGAN (ICCV 2019) (512x512) | LPIPS: 0.27 PSNR: 25.98 RMSE: 3.83 SSIM: 0.803 |
| shadow-removal-on-srd | Mask-ShadowGAN (ICCV 2019) (256x256) | LPIPS: 0.427 PSNR: 24.67 RMSE: 4.32 SSIM: 0.662 |