4 个月前

总结与搜索:学习共识感知的动态卷积用于共显著性检测

总结与搜索:学习共识感知的动态卷积用于共显著性检测

摘要

人类在进行共显著性检测时,首先会总结整个群体的共识知识,然后在每张图像中搜索相应的对象。以往的方法通常在第一个过程中缺乏鲁棒性、可扩展性或稳定性,而在第二个过程中则简单地将共识特征与图像特征融合。本文提出了一种新颖的共识感知动态卷积模型,能够显式且有效地执行“总结和搜索”过程。为了总结共识图像特征,我们首先使用有效的池化方法为每张单个图像提取鲁棒特征,然后通过自注意力机制聚合跨图像的共识线索。这样做使得我们的模型满足了可扩展性和稳定性的要求。接下来,我们从共识特征生成动态核,以编码总结出的共识知识。生成了两种互补的核,分别用于总结细粒度的图像特定共识对象线索和粗粒度的群体共同知识。随后,我们可以通过在多个尺度上应用动态卷积来有效执行对象搜索。此外,还提出了一种新颖且有效的数据合成方法来训练我们的网络。四个基准数据集上的实验结果验证了我们所提出方法的有效性。我们的代码和显著图可在以下网址获取:https://github.com/nnizhang/CADC。

代码仓库

nnizhang/cadc
官方
pytorch

基准测试

基准方法指标
co-salient-object-detection-on-cocaCADC
MAE: 0.133
Mean F-measure: 0.503
S-measure: 0.68
max E-measure: 0.745
max F-measure: 0.550
mean E-measure: 0.69
co-salient-object-detection-on-cosal2015CADC
MAE: 0.064
S-measure: 0.866
max E-measure: 0.906
max F-measure: 0.864
mean E-measure: 0.874
mean F-measure: 0.825
co-salient-object-detection-on-cosod3kCADC
MAE: 0.087
S-measure: 0.815
max E-measure: 0.854
max F-measure: 0.778
mean E-measure: 0.823
mean F-measure: 0.742

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
总结与搜索:学习共识感知的动态卷积用于共显著性检测 | 论文 | HyperAI超神经