4 个月前

方向感知的空间上下文特征用于阴影检测与去除

方向感知的空间上下文特征用于阴影检测与去除

摘要

阴影检测和阴影去除是基础且具有挑战性的任务,需要对全局图像语义有深入的理解。本文提出了一种新颖的深度神经网络设计,通过方向感知的方式分析空间图像上下文来实现阴影检测和去除。为了达到这一目标,我们首先在空间递归神经网络(RNN)中引入了方向感知注意力机制,即在RNN聚合空间上下文特征时引入注意力权重。通过训练学习这些权重,我们可以恢复用于检测和去除阴影的方向感知空间上下文(DSC)。该设计被开发为DSC模块,并嵌入到卷积神经网络(CNN)中,以学习不同层次的DSC特征。此外,我们设计了一种加权交叉熵损失函数,以提高阴影检测的训练效果,并进一步采用该网络进行阴影去除,通过使用欧几里得损失函数并制定颜色传递函数来解决训练对中的颜色和亮度不一致问题。我们使用了两个阴影检测基准数据集和两个阴影去除基准数据集,并进行了各种实验来评估我们的方法。实验结果表明,我们的方法在阴影检测和阴影去除方面均优于现有最先进的方法。

代码仓库

stevewongv/dsc-pytorch
pytorch
GitHub 中提及
xw-hu/DSC
pytorch

基准测试

基准方法指标
shadow-detection-on-cuhk-shadowDSC (CVPR 2018, TPAMI 2020) (256x256)
BER: 10.97
shadow-detection-on-cuhk-shadowDSC (CVPR 2018, TPAMI 2020) (512x512)
BER: 9.53
shadow-detection-on-sbuDSC (CVPR 2018, TPAMI 2020) (256x256)
BER: 6.79
shadow-removal-on-istdDSC
MAE: 6.67
shadow-removal-on-istd-1DSC (TPAMI 2020) (256x256)
LPIPS: 0.347
PSNR: 26.53
RMSE: 3.44
SSIM: 0.738
shadow-removal-on-srdDSC (TPAMI 2020) (256x256)
LPIPS: 0.412
PSNR: 25.46
RMSE: 3.97
SSIM: 0.678

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
方向感知的空间上下文特征用于阴影检测与去除 | 论文 | HyperAI超神经