3 个月前

深度信息在显著性目标检测中真的必要吗?

深度信息在显著性目标检测中真的必要吗?

摘要

显著性物体检测(Salient Object Detection, SOD)是众多计算机视觉应用中的关键前置任务,近年来在深度卷积神经网络(Deep CNNs)的推动下取得了显著进展。现有大多数方法主要依赖RGB图像信息来区分显著物体,但在复杂场景下仍面临挑战。为解决这一问题,近年来涌现出大量基于RGBD(即RGB与深度图联合输入)的网络架构,通过将深度图作为独立输入,并与RGB信息进行特征融合,以提升检测性能。受RGB与RGBD方法各自优势的启发,本文提出一种新颖的深度感知显著性物体检测框架,具有以下三项创新设计:1)训练阶段仅使用深度信息,而推理阶段仅依赖RGB图像输入,实现高效轻量化的部署;2)通过多层次的深度感知正则化机制,全面优化显著性特征的表达能力;3)利用深度信息作为误差加权图,动态修正分割过程中的预测结果。结合上述设计,本工作首次实现了仅以RGB图像为推理输入的统一深度感知框架。该方法不仅在五个公开的RGB-SOD基准数据集上超越了当前最先进(SOTA)的性能,且在五个基准上大幅领先于传统的RGBD方法,同时仅依赖较少的信息输入并具备轻量化的实现结构。相关代码与模型将公开发布,以促进学术交流与应用发展。

代码仓库

基准测试

基准方法指标
rgb-d-salient-object-detection-on-desDASNet
Average MAE: 0.023
S-Measure: 90.8
max F-Measure: 92.8
rgb-d-salient-object-detection-on-nju2kDASNet
Average MAE: 0.042
S-Measure: 90.2
max F-Measure: 91.1
rgb-d-salient-object-detection-on-nlprDASNet
Average MAE: 0.021
S-Measure: 92.9
max F-Measure: 92.9
rgb-d-salient-object-detection-on-ssdDASNet
Average MAE: 0.042
S-Measure: 88.5
max F-Measure: 88.1
rgb-d-salient-object-detection-on-stereDASNet
Average MAE: 0.037
S-Measure: 91.0
max F-Measure: 91.5

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
深度信息在显著性目标检测中真的必要吗? | 论文 | HyperAI超神经