3 个月前

基于RGB-D显著目标检测的双边注意力网络

基于RGB-D显著目标检测的双边注意力网络

摘要

现有大多数RGB-D显著目标检测(SOD)方法在利用深度图像时,主要关注前景区域。然而,在传统SOD方法中,背景同样提供了对性能提升具有重要意义的信息。为更充分地挖掘前景与背景区域中的显著性信息,本文提出了一种双边注意力网络(Bilateral Attention Network, BiANet),用于RGB-D显著目标检测任务。具体而言,我们设计了一种具有互补注意力机制的双边注意力模块(Bilateral Attention Module, BAM),包含前景优先(Foreground-First, FF)注意力和背景优先(Background-First, BF)注意力两种策略:FF注意力以渐进式精炼的方式聚焦于前景区域,而BF注意力则用于恢复背景区域中潜在有用的显著性信息。得益于所提出的BAM模块,BiANet能够捕捉到更具意义的前景与背景线索,并将更多注意力集中于优化前景与背景交界处的不确定细节。此外,我们进一步通过引入多尺度技术扩展了BAM模块,以进一步提升显著目标检测性能。在六个基准数据集上的大量实验表明,所提出的BiANet在客观评价指标和主观视觉对比方面均优于现有的先进RGB-D SOD方法。在配备NVIDIA GeForce RTX 2080Ti GPU的环境下,BiANet在224×224分辨率的RGB-D图像上可实现高达80帧/秒(fps)的实时推理速度。全面的消融实验也充分验证了各模块设计的有效性与贡献。

代码仓库

zzhanghub/bianet
pytorch
GitHub 中提及

基准测试

基准方法指标
rgb-d-salient-object-detection-on-desBiANet
Average MAE: 0.021
S-Measure: 93.1
max E-Measure: 97.1
max F-Measure: 92.6
rgb-d-salient-object-detection-on-lfsdBiANet
Average MAE: 0.0x
rgb-d-salient-object-detection-on-nju2kBiANet
Average MAE: 0.039
S-Measure: 91.5
max E-Measure: 94.8
max F-Measure: 92.0
rgb-d-salient-object-detection-on-nlprBiANet
Average MAE: 0.024
S-Measure: 92.5
max E-Measure: 96.1
max F-Measure: 91.4
rgb-d-salient-object-detection-on-sipBiANet
Average MAE: 0.052
S-Measure: 88.3
max E-Measure: 92.5
max F-Measure: 89.0
rgb-d-salient-object-detection-on-ssdBiANet
Average MAE: 0.050
S-Measure: 86.7
max E-Measure: 91.6
max F-Measure: 84.9
rgb-d-salient-object-detection-on-stereBiANet
Average MAE: 0.043
S-Measure: 90.4
max E-Measure: 94.2
max F-Measure: 89.8

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于RGB-D显著目标检测的双边注意力网络 | 论文 | HyperAI超神经