4 个月前

用于共显著目标检测的判别性共显著性和背景挖掘变换器

用于共显著目标检测的判别性共显著性和背景挖掘变换器

摘要

大多数先前的共显著对象检测工作主要集中在通过挖掘图像间的共一致性关系来提取共显著线索,而忽略了对背景区域的显式探索。在本文中,我们提出了一种基于多个经济型多粒度相关模块的判别性共显著性和背景挖掘Transformer框架(DMT),以显式地挖掘共显著性和背景信息,并有效建模它们之间的区分性。具体而言,我们首先提出了一种区域到区域的相关模块,用于在保持计算效率的同时将图像间的关系引入像素级分割特征。然后,我们利用两种预定义的标记通过所提出的对比诱导像素到标记相关模块和共显著性标记到标记相关模块来挖掘共显著性和背景信息。此外,我们还设计了一种标记引导的特征精炼模块,在学习到的标记指导下增强分割特征的区分能力。我们在分割特征提取和标记构建之间进行了迭代互促。三个基准数据集上的实验结果证明了我们所提出方法的有效性。源代码可在以下地址获取:https://github.com/dragonlee258079/DMT。

代码仓库

dragonlee258079/DMT
官方
pytorch

基准测试

基准方法指标
co-salient-object-detection-on-cocaDMT
MAE: 0.108
Mean F-measure: 0.590
S-measure: 0.725
max E-measure: 0.800
max F-measure: 0.619
mean E-measure: 0.753
co-salient-object-detection-on-cosal2015DMT
MAE: 0.045
S-measure: 0.897
max E-measure: 0.936
max F-measure: 0.905
mean E-measure: 0.922
mean F-measure: 0.883
co-salient-object-detection-on-cosod3kDMT
MAE: 0.063
S-measure: 0.851
max E-measure: 0.895
max F-measure: 0.835
mean E-measure: 0.881
mean F-measure: 0.815

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
用于共显著目标检测的判别性共显著性和背景挖掘变换器 | 论文 | HyperAI超神经