
摘要
深度传感器的大规模应用为RGBD图像中的显著目标检测(SOD)提供了宝贵且互补的信息。然而,由于RGB信息与深度信息之间存在固有差异,直接使用在ImageNet上预训练的骨干网络提取深度通道特征,并将其与RGB特征进行融合,往往并非最优方案。为此,本文将对比先验(contrast prior)引入基于CNN的架构中,该先验在传统非深度学习方法中曾是主导性线索,用于增强深度信息的表征能力。经过增强的深度线索进一步与RGB特征融合,以实现显著目标检测,融合过程采用一种新颖的流体金字塔融合机制(fluid pyramid fusion),能够更有效地利用多尺度跨模态特征。在5个具有挑战性的基准数据集上进行的全面实验表明,所提出的CPFP架构在性能上优于9种现有的先进方法,充分验证了其优越性。
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| rgb-d-salient-object-detection-on-des | CPFP | Average MAE: 0.038 S-Measure: 87.2 max E-Measure: 92.3 max F-Measure: 84.6 |
| rgb-d-salient-object-detection-on-lfsd | CPFP | Average MAE: 0.088 S-Measure: 82.8 max E-Measure: 86.3 max F-Measure: 81.1 |
| rgb-d-salient-object-detection-on-nju2k | CPFP | Average MAE: 0.053 S-Measure: 87.8 max E-Measure: 92.6 max F-Measure: 87.7 |
| rgb-d-salient-object-detection-on-nlpr | CPFP | Average MAE: 0.036 S-Measure: 88.8 max E-Measure: 93.2 max F-Measure: 86.7 |
| rgb-d-salient-object-detection-on-sip | CPFP | Average MAE: 0.064 S-Measure: 85.0 max E-Measure: 90.3 max F-Measure: 85.1 |
| rgb-d-salient-object-detection-on-ssd | CPFP | Average MAE: 0.082 S-Measure: 80.7 max E-Measure: 85.2 max F-Measure: 76.6 |
| rgb-d-salient-object-detection-on-stere | CPFP | Average MAE: 0.051 S-Measure: 87.9 max E-Measure: 92.5 max F-Measure: 87.4 |