
摘要
阴影检测和阴影去除是基础且具有挑战性的任务,需要对全局图像语义有深入的理解。本文提出了一种新颖的深度神经网络设计,通过方向感知的方式分析空间图像上下文来实现阴影检测和去除。为了达到这一目标,我们首先在空间递归神经网络(RNN)中引入了方向感知注意力机制,即在RNN聚合空间上下文特征时引入注意力权重。通过训练学习这些权重,我们可以恢复用于检测和去除阴影的方向感知空间上下文(DSC)。该设计被开发为DSC模块,并嵌入到卷积神经网络(CNN)中,以学习不同层次的DSC特征。此外,我们设计了一种加权交叉熵损失函数,以提高阴影检测的训练效果,并进一步采用该网络进行阴影去除,通过使用欧几里得损失函数并制定颜色传递函数来解决训练对中的颜色和亮度不一致问题。我们使用了两个阴影检测基准数据集和两个阴影去除基准数据集,并进行了各种实验来评估我们的方法。实验结果表明,我们的方法在阴影检测和阴影去除方面均优于现有最先进的方法。
代码仓库
stevewongv/dsc-pytorch
pytorch
GitHub 中提及
xw-hu/DSC
pytorch
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| shadow-detection-on-cuhk-shadow | DSC (CVPR 2018, TPAMI 2020) (256x256) | BER: 10.97 |
| shadow-detection-on-cuhk-shadow | DSC (CVPR 2018, TPAMI 2020) (512x512) | BER: 9.53 |
| shadow-detection-on-sbu | DSC (CVPR 2018, TPAMI 2020) (256x256) | BER: 6.79 |
| shadow-removal-on-istd | DSC | MAE: 6.67 |
| shadow-removal-on-istd-1 | DSC (TPAMI 2020) (256x256) | LPIPS: 0.347 PSNR: 26.53 RMSE: 3.44 SSIM: 0.738 |
| shadow-removal-on-srd | DSC (TPAMI 2020) (256x256) | LPIPS: 0.412 PSNR: 25.46 RMSE: 3.97 SSIM: 0.678 |