4 个月前

PiCANet:学习像素级上下文注意力机制用于显著性检测

PiCANet:学习像素级上下文注意力机制用于显著性检测

摘要

上下文在显著性检测任务中发挥着重要作用。然而,对于给定的上下文区域,并非所有上下文信息都对最终任务有帮助。本文提出了一种新颖的像素级上下文注意力网络,即PiCANet(Pixel-wise Contextual Attention Network),用于学习为每个像素选择性地关注有用的信息位置。具体而言,对于每个像素,它可以生成一个注意力图,其中每个注意力权重对应于每个上下文位置的相关性。通过选择性地聚合上下文信息,可以构建出加权后的上下文特征。我们分别以全局和局部形式定义了所提出的PiCANet,以分别关注全局和局部上下文。这两种模型都是完全可微分的,并且可以嵌入到卷积神经网络(CNN)中进行联合训练。此外,我们将所提出的模型与U-Net架构结合,用于检测显著物体。大量实验表明,所提出的PiCANet能够持续提升显著性检测性能。全局和局部PiCANet分别有助于学习全局对比度和同质性。因此,我们的显著性模型能够更准确、均匀地检测显著物体,从而在与现有最先进方法的比较中表现出色。

代码仓库

基准测试

基准方法指标
salient-object-detection-on-duts-tePiCANet
MAE: 0.050
S-Measure: 0.842
max F-measure: 0.863
mean E-Measure: 0.853
mean F-Measure: 0.757
salient-object-detection-on-socPiCANet
Average MAE: 0.133
S-Measure: 0.801
mean E-Measure: 0.810

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
PiCANet:学习像素级上下文注意力机制用于显著性检测 | 论文 | HyperAI超神经