4 个月前

Mask-ShadowGAN:从非配对数据中学习去除阴影

Mask-ShadowGAN:从非配对数据中学习去除阴影

摘要

本文提出了一种使用非配对数据进行阴影去除的新方法,使我们能够避免繁琐的标注过程并获得更加多样的训练样本。然而,直接采用对抗学习和循环一致性约束不足以学习阴影域与无阴影域之间的潜在关系,因为阴影图像与无阴影图像之间的映射并非简单的单对应关系。为了解决这一问题,我们设计了Mask-ShadowGAN,这是一种新的深度框架,能够自动从输入的阴影图像中生成阴影掩模,并通过重新定义的循环一致性约束利用该掩模指导阴影生成。特别地,该框架同时学习生成阴影掩模和去除阴影,以最大化整体性能。此外,我们准备了一个用于阴影去除的非配对数据集,并在各种实验中展示了Mask-ShadowGAN的有效性,即使其是在非配对数据上训练的。

基准测试

基准方法指标
shadow-removal-on-istd-1Mask-ShadowGAN (ICCV 2019) (512x512)
LPIPS: 0.196
PSNR: 26.51
RMSE: 3.42
SSIM: 0.865
shadow-removal-on-istd-1Mask-ShadowGAN (ICCV 2019) (256x256)
LPIPS: 0.377
PSNR: 25.5
RMSE: 3.7
SSIM: 0.72
shadow-removal-on-srdMask-ShadowGAN (ICCV 2019) (512x512)
LPIPS: 0.27
PSNR: 25.98
RMSE: 3.83
SSIM: 0.803
shadow-removal-on-srdMask-ShadowGAN (ICCV 2019) (256x256)
LPIPS: 0.427
PSNR: 24.67
RMSE: 4.32
SSIM: 0.662

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
Mask-ShadowGAN:从非配对数据中学习去除阴影 | 论文 | HyperAI超神经