3 个月前

基于对比先验与动态金字塔融合的RGBD显著目标检测

基于对比先验与动态金字塔融合的RGBD显著目标检测

摘要

深度传感器的大规模应用为RGBD图像中的显著目标检测(SOD)提供了宝贵且互补的信息。然而,由于RGB信息与深度信息之间存在固有差异,直接使用在ImageNet上预训练的骨干网络提取深度通道特征,并将其与RGB特征进行融合,往往并非最优方案。为此,本文将对比先验(contrast prior)引入基于CNN的架构中,该先验在传统非深度学习方法中曾是主导性线索,用于增强深度信息的表征能力。经过增强的深度线索进一步与RGB特征融合,以实现显著目标检测,融合过程采用一种新颖的流体金字塔融合机制(fluid pyramid fusion),能够更有效地利用多尺度跨模态特征。在5个具有挑战性的基准数据集上进行的全面实验表明,所提出的CPFP架构在性能上优于9种现有的先进方法,充分验证了其优越性。

基准测试

基准方法指标
rgb-d-salient-object-detection-on-desCPFP
Average MAE: 0.038
S-Measure: 87.2
max E-Measure: 92.3
max F-Measure: 84.6
rgb-d-salient-object-detection-on-lfsdCPFP
Average MAE: 0.088
S-Measure: 82.8
max E-Measure: 86.3
max F-Measure: 81.1
rgb-d-salient-object-detection-on-nju2kCPFP
Average MAE: 0.053
S-Measure: 87.8
max E-Measure: 92.6
max F-Measure: 87.7
rgb-d-salient-object-detection-on-nlprCPFP
Average MAE: 0.036
S-Measure: 88.8
max E-Measure: 93.2
max F-Measure: 86.7
rgb-d-salient-object-detection-on-sipCPFP
Average MAE: 0.064
S-Measure: 85.0
max E-Measure: 90.3
max F-Measure: 85.1
rgb-d-salient-object-detection-on-ssdCPFP
Average MAE: 0.082
S-Measure: 80.7
max E-Measure: 85.2
max F-Measure: 76.6
rgb-d-salient-object-detection-on-stereCPFP
Average MAE: 0.051
S-Measure: 87.9
max E-Measure: 92.5
max F-Measure: 87.4

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于对比先验与动态金字塔融合的RGBD显著目标检测 | 论文 | HyperAI超神经