
摘要
我们提出了一种新颖的群体协同学习框架(GCoNet),该框架能够在实时(16毫秒)检测共显著对象,同时基于两个必要准则在群体层面挖掘共识表示:1) 群体内紧凑性,通过我们的新型群体亲和模块捕捉共显著对象的内在共享属性,从而更好地表述它们之间的一致性;2) 群体间可分离性,通过引入新的群体协作模块来调节不一致的共识,有效抑制噪声对象对输出的影响。为了在不增加额外计算开销的情况下学习更好的嵌入空间,我们显式地采用了辅助分类监督。我们在三个具有挑战性的基准数据集上进行了广泛的实验,即CoCA、CoSOD3k和Cosal2015,结果表明我们的简单GCoNet优于10个最先进的模型,并达到了新的最先进水平。本文还在多个重要的下游计算机视觉应用中展示了新的技术贡献,包括内容感知共分割、基于共定位的自动缩略图生成等。
代码仓库
fanq15/GCoNet
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| co-salient-object-detection-on-coca | GCoNet | MAE: 0.105 Mean F-measure: 0.531 S-measure: 0.673 max E-measure: 0.760 max F-measure: 0.544 mean E-measure: 0.739 |
| co-salient-object-detection-on-cosal2015 | GCoNet | MAE: 0.068 S-measure: 0.845 max E-measure: 0.888 max F-measure: 0.847 mean E-measure: 0.884 mean F-measure: 0.838 |
| co-salient-object-detection-on-cosod3k | GCoNet | MAE: 0.071 S-measure: 0.802 max E-measure: 0.860 max F-measure: 0.777 mean E-measure: 0.857 mean F-measure: 0.770 |