3 个月前

UC-Net:基于条件变分自编码器的不确定性驱动RGB-D显著性检测

UC-Net:基于条件变分自编码器的不确定性驱动RGB-D显著性检测

摘要

本文提出首个利用不确定性进行RGB-D显著性检测的框架——UCNet,其核心思想是通过学习数据标注过程中的不确定性来提升检测性能。现有RGB-D显著性检测方法通常将该任务视为点估计问题,采用确定性学习流程,仅生成单一的显著性图。受人类标注过程的启发,我们提出基于条件变分自编码器(conditional variational autoencoders)的 probabilistic(概率化)RGB-D显著性检测网络,以建模人工标注中的不确定性,并通过在潜在空间中采样,为每张输入图像生成多组显著性图。结合所提出的显著性共识(saliency consensus)机制,我们能够基于多个预测结果融合生成更为准确的显著性图。在六个具有挑战性的基准数据集上,针对18种对比算法的定量与定性评估结果表明,本方法在学习显著性图分布方面具有显著优势,实现了RGB-D显著性检测的新SOTA(state-of-the-art)性能。

代码仓库

基准测试

基准方法指标
rgb-d-salient-object-detection-on-desUC-Net
Average MAE: 0.019
S-Measure: 93.4
rgb-d-salient-object-detection-on-lfsdUC-Net
Average MAE: 0.066
S-Measure: 86.4
rgb-d-salient-object-detection-on-nju2kUC-Net
Average MAE: 0.043
S-Measure: 89.7
rgb-d-salient-object-detection-on-nlprUC-Net
Average MAE: 0.025
S-Measure: 92.0
rgb-d-salient-object-detection-on-sipUC-Net
Average MAE: 0.051
S-Measure: 87.5
rgb-d-salient-object-detection-on-stereUC-Net
Average MAE: 0.039
S-Measure: 90.3
thermal-image-segmentation-on-rgb-t-glassUCNet
MAE: 0.071

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
UC-Net:基于条件变分自编码器的不确定性驱动RGB-D显著性检测 | 论文 | HyperAI超神经