
摘要
现有大多数RGB-D显著目标检测(SOD)方法在利用深度图像时,主要关注前景区域。然而,在传统SOD方法中,背景同样提供了对性能提升具有重要意义的信息。为更充分地挖掘前景与背景区域中的显著性信息,本文提出了一种双边注意力网络(Bilateral Attention Network, BiANet),用于RGB-D显著目标检测任务。具体而言,我们设计了一种具有互补注意力机制的双边注意力模块(Bilateral Attention Module, BAM),包含前景优先(Foreground-First, FF)注意力和背景优先(Background-First, BF)注意力两种策略:FF注意力以渐进式精炼的方式聚焦于前景区域,而BF注意力则用于恢复背景区域中潜在有用的显著性信息。得益于所提出的BAM模块,BiANet能够捕捉到更具意义的前景与背景线索,并将更多注意力集中于优化前景与背景交界处的不确定细节。此外,我们进一步通过引入多尺度技术扩展了BAM模块,以进一步提升显著目标检测性能。在六个基准数据集上的大量实验表明,所提出的BiANet在客观评价指标和主观视觉对比方面均优于现有的先进RGB-D SOD方法。在配备NVIDIA GeForce RTX 2080Ti GPU的环境下,BiANet在224×224分辨率的RGB-D图像上可实现高达80帧/秒(fps)的实时推理速度。全面的消融实验也充分验证了各模块设计的有效性与贡献。
代码仓库
zzhanghub/bianet
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| rgb-d-salient-object-detection-on-des | BiANet | Average MAE: 0.021 S-Measure: 93.1 max E-Measure: 97.1 max F-Measure: 92.6 |
| rgb-d-salient-object-detection-on-lfsd | BiANet | Average MAE: 0.0x |
| rgb-d-salient-object-detection-on-nju2k | BiANet | Average MAE: 0.039 S-Measure: 91.5 max E-Measure: 94.8 max F-Measure: 92.0 |
| rgb-d-salient-object-detection-on-nlpr | BiANet | Average MAE: 0.024 S-Measure: 92.5 max E-Measure: 96.1 max F-Measure: 91.4 |
| rgb-d-salient-object-detection-on-sip | BiANet | Average MAE: 0.052 S-Measure: 88.3 max E-Measure: 92.5 max F-Measure: 89.0 |
| rgb-d-salient-object-detection-on-ssd | BiANet | Average MAE: 0.050 S-Measure: 86.7 max E-Measure: 91.6 max F-Measure: 84.9 |
| rgb-d-salient-object-detection-on-stere | BiANet | Average MAE: 0.043 S-Measure: 90.4 max E-Measure: 94.2 max F-Measure: 89.8 |