
摘要
深度信息在RGB-D显著性物体检测(SOD)中已被证明具有显著优势。然而,实际获取的深度图往往存在质量低、精度差的问题。现有的大多数RGB-D SOD模型在编码阶段缺乏跨模态交互,或仅存在从深度图到RGB图像的单向交互,这在面对低质量深度图时可能导致编码特征不准确。为解决这一局限性,本文提出在编码阶段尽早引入渐进式的双向交互机制,构建了一种新型的双向传递与选择网络——BTS-Net。该网络采用一组双向传递与选择(Bi-directional Transfer-and-Selection, BTS)模块,在特征编码过程中实现特征的精细化净化。基于所获得的鲁棒编码特征,本文进一步设计了一种高效轻量的分组解码器,以实现精确的最终显著性预测。在六个广泛使用的公开数据集上的大量实验表明,BTS-Net在四个关键评价指标上均超越了16种最新的先进方法,展现出卓越的性能。
代码仓库
zwbx/BTS-Net
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| rgb-d-salient-object-detection-on-des | BTS-Net | Average MAE: 0.018 S-Measure: 94.3 max E-Measure: 97.9 max F-Measure: 94.0 |
| rgb-d-salient-object-detection-on-lfsd | BTS-Net | Average MAE: 0.07 S-Measure: 86.7 max E-Measure: 90.6 max F-Measure: 87.4 |
| rgb-d-salient-object-detection-on-nju2k | BTS-Net | Average MAE: 0.036 S-Measure: 92.1 max E-Measure: 95.4 max F-Measure: 92.4 |
| rgb-d-salient-object-detection-on-sip | BTS-Net | Average MAE: 0.044 S-Measure: 89.6 max E-Measure: 93.3 max F-Measure: 90.1 |
| rgb-d-salient-object-detection-on-stere | BTS-Net | Average MAE: 0.038 S-Measure: 91.5 max E-Measure: 94.9 max F-Measure: 91.1 |