
摘要
本文提出首个利用不确定性进行RGB-D显著性检测的框架——UCNet,其核心思想是通过学习数据标注过程中的不确定性来提升检测性能。现有RGB-D显著性检测方法通常将该任务视为点估计问题,采用确定性学习流程,仅生成单一的显著性图。受人类标注过程的启发,我们提出基于条件变分自编码器(conditional variational autoencoders)的 probabilistic(概率化)RGB-D显著性检测网络,以建模人工标注中的不确定性,并通过在潜在空间中采样,为每张输入图像生成多组显著性图。结合所提出的显著性共识(saliency consensus)机制,我们能够基于多个预测结果融合生成更为准确的显著性图。在六个具有挑战性的基准数据集上,针对18种对比算法的定量与定性评估结果表明,本方法在学习显著性图分布方面具有显著优势,实现了RGB-D显著性检测的新SOTA(state-of-the-art)性能。
代码仓库
JingZhang617/UCNet
pytorch
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| rgb-d-salient-object-detection-on-des | UC-Net | Average MAE: 0.019 S-Measure: 93.4 |
| rgb-d-salient-object-detection-on-lfsd | UC-Net | Average MAE: 0.066 S-Measure: 86.4 |
| rgb-d-salient-object-detection-on-nju2k | UC-Net | Average MAE: 0.043 S-Measure: 89.7 |
| rgb-d-salient-object-detection-on-nlpr | UC-Net | Average MAE: 0.025 S-Measure: 92.0 |
| rgb-d-salient-object-detection-on-sip | UC-Net | Average MAE: 0.051 S-Measure: 87.5 |
| rgb-d-salient-object-detection-on-stere | UC-Net | Average MAE: 0.039 S-Measure: 90.3 |
| thermal-image-segmentation-on-rgb-t-glass | UCNet | MAE: 0.071 |