4 个月前

SPSN:用于RGB-D显著物体检测的超像素原型采样网络

SPSN:用于RGB-D显著物体检测的超像素原型采样网络

摘要

RGB-D显著物体检测(SOD)最近备受关注,因为它在各种视觉任务中是一项重要的预处理操作。然而,尽管基于深度学习的方法取得了进展,RGB-D SOD 仍然具有挑战性,主要是由于RGB图像与深度图之间存在较大的域差距以及深度图质量较低。为了解决这一问题,我们提出了一种新颖的超像素原型采样网络(SPSN)架构。该模型将输入的RGB图像和深度图分割成超像素组件以生成组件原型。我们设计了一个原型采样网络,使得网络仅采样与显著物体对应的原型。此外,我们还提出了一种依赖选择模块,用于识别每个RGB特征图和深度特征图的质量,并根据其可靠性自适应地加权这些特征图。所提出的方法使模型对RGB图像和深度图之间的不一致性具有鲁棒性,并消除了非显著物体的影响。我们的方法在五个流行的数据库上进行了评估,达到了最先进的性能。通过对比实验,我们证明了所提方法的有效性。

代码仓库

Hydragon516/SPSN
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
rgb-d-salient-object-detection-on-desSPSN
Average MAE: 0.016
S-Measure: 93.8
max E-Measure: 97.6
max F-Measure: 94.3
rgb-d-salient-object-detection-on-nju2kSPSN
Average MAE: 0.032
S-Measure: 91.8
max E-Measure: 95.0
max F-Measure: 92.0
rgb-d-salient-object-detection-on-nlprSPSN
Average MAE: 0.022
S-Measure: 92.6
max E-Measure: 96.2
max F-Measure: 91.4
rgb-d-salient-object-detection-on-sipSPSN
Average MAE: 0.042
S-Measure: 89.2
max E-Measure: 93.4
max F-Measure: 89.9
rgb-d-salient-object-detection-on-stereSPSN
Average MAE: 0.035
S-Measure: 90.7
max E-Measure: 94.3
max F-Measure: 90.0

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
SPSN:用于RGB-D显著物体检测的超像素原型采样网络 | 论文 | HyperAI超神经