4 个月前

DC-ShadowNet:利用无监督域分类器引导的网络进行单图像硬阴影和软阴影去除

DC-ShadowNet:利用无监督域分类器引导的网络进行单图像硬阴影和软阴影去除

摘要

从单张图像中去除阴影通常仍然是一个开放性问题。现有的大多数基于学习的方法使用监督学习,并需要大量配对的图像(有阴影图像及其对应的无阴影图像)进行训练。最近的一种无监督方法,Mask-ShadowGAN~\cite{Hu19},解决了这一限制。然而,该方法需要一个二值掩模来表示阴影区域,因此无法应用于软阴影。为了解决这个问题,本文提出了一种无监督域分类器引导的阴影去除网络,即DC-ShadowNet。具体而言,我们建议将阴影/无阴影域分类器集成到生成器及其判别器中,使它们能够专注于阴影区域。为了训练我们的网络,我们引入了基于物理模型的无阴影色度损失、鲁棒感知特征损失和边界平滑损失等新的损失函数。此外,我们还展示了我们的无监督网络可以在测试时进行训练,从而进一步提高结果的质量。实验表明,所有这些新颖的组件使我们的方法能够处理软阴影,并且在定量和定性方面都优于现有最先进的阴影去除方法。我们的代码可在以下地址获取:\url{https://github.com/jinyeying/DC-ShadowNet-Hard-and-Soft-Shadow-Removal}。

代码仓库

基准测试

基准方法指标
shadow-removal-on-istdDC-ShadowNet
MAE: 5.88
shadow-removal-on-istd-1DC-ShadowNet (ICCV 2021) (256x256)
LPIPS: 0.406
PSNR: 25.18
RMSE: 3.89
SSIM: 0.693
shadow-removal-on-istd-1DC-ShadowNet (ICCV 2021) (512x512)
LPIPS: 0.234
PSNR: 26.06
RMSE: 3.64
SSIM: 0.835
shadow-removal-on-srdDC-ShadowNet (ICCV 2021) (256x256)
LPIPS: 0.383
PSNR: 24.72
RMSE: 4.27
SSIM: 0.67
shadow-removal-on-srdDC-ShadowNet (ICCV 2021) (512x512)
LPIPS: 0.255
PSNR: 26.47
RMSE: 3.68
SSIM: 0.808

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
DC-ShadowNet:利用无监督域分类器引导的网络进行单图像硬阴影和软阴影去除 | 论文 | HyperAI超神经