3 个月前

消除特征模糊性以实现少样本分割

消除特征模糊性以实现少样本分割

摘要

近年来,少样本分割(Few-Shot Segmentation, FSS)领域的发展广泛采用了查询图像(query)与支持图像(support)特征之间的逐像素匹配机制,通常基于交叉注意力(cross attention)实现,该机制能够选择性激活与同类支持图像前景(Foreground, FG)特征相对应的查询图像前景特征。然而,由于骨干网络深层结构具有较大的感受野,提取的查询与支持图像前景特征不可避免地混入了背景(Background, BG)特征,从而干扰了交叉注意力中的前景-前景匹配过程。这导致查询前景特征与有效支持前景特征的融合程度降低,即支持信息未能得到充分挖掘与利用。为此,本文提出一种新型即插即用模块——模糊性消除网络(Ambiguity Elimination Network, AENet),可无缝集成至任意基于交叉注意力的FSS方法中。其核心思想是通过挖掘具有判别性的查询前景区域,对模糊的前景特征进行修正,从而提升前景信息在特征中的占比,有效抑制掺杂背景特征带来的负面影响。在此机制下,前景-前景匹配能力得以自然增强。我们在三种基准方法CyCTR、SCCAN和HDMNet上集成AENet进行评估,结果表明性能显著提升,例如SCCAN在PASCAL-5$^i$和COCO-20$^i$两个数据集上的1-shot分割性能分别提升了3.0%以上。相关代码已开源,地址为:https://github.com/Sam1224/AENet。

代码仓库

sam1224/aenet
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
few-shot-semantic-segmentation-on-coco-20i-1AENet (VGG-16)
FB-IoU: 71.8
Mean IoU: 46.4
few-shot-semantic-segmentation-on-coco-20i-1AENet (ResNet-50)
FB-IoU: 74.4
Mean IoU: 51.3
few-shot-semantic-segmentation-on-coco-20i-5AENet (ResNet-50)
FB-IoU: 78.5
Mean IoU: 57.1
few-shot-semantic-segmentation-on-coco-20i-5AENet (VGG-16)
FB-IoU: 74.3
Mean IoU: 52.8
few-shot-semantic-segmentation-on-pascal-5i-1AENet (ResNet-50)
FB-IoU: 81.2
Mean IoU: 70.3
few-shot-semantic-segmentation-on-pascal-5i-1AENet (VGG-16)
FB-IoU: 79.0
Mean IoU: 66.6
few-shot-semantic-segmentation-on-pascal-5i-5AENet (ResNet-50)
FB-IoU: 84.5
Mean IoU: 74.2
few-shot-semantic-segmentation-on-pascal-5i-5AENet (VGG-16)
FB-IoU: 81.8
Mean IoU: 70.6

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
消除特征模糊性以实现少样本分割 | 论文 | HyperAI超神经