
摘要
近年来,少样本分割(Few-Shot Segmentation, FSS)领域的发展广泛采用了查询图像(query)与支持图像(support)特征之间的逐像素匹配机制,通常基于交叉注意力(cross attention)实现,该机制能够选择性激活与同类支持图像前景(Foreground, FG)特征相对应的查询图像前景特征。然而,由于骨干网络深层结构具有较大的感受野,提取的查询与支持图像前景特征不可避免地混入了背景(Background, BG)特征,从而干扰了交叉注意力中的前景-前景匹配过程。这导致查询前景特征与有效支持前景特征的融合程度降低,即支持信息未能得到充分挖掘与利用。为此,本文提出一种新型即插即用模块——模糊性消除网络(Ambiguity Elimination Network, AENet),可无缝集成至任意基于交叉注意力的FSS方法中。其核心思想是通过挖掘具有判别性的查询前景区域,对模糊的前景特征进行修正,从而提升前景信息在特征中的占比,有效抑制掺杂背景特征带来的负面影响。在此机制下,前景-前景匹配能力得以自然增强。我们在三种基准方法CyCTR、SCCAN和HDMNet上集成AENet进行评估,结果表明性能显著提升,例如SCCAN在PASCAL-5$^i$和COCO-20$^i$两个数据集上的1-shot分割性能分别提升了3.0%以上。相关代码已开源,地址为:https://github.com/Sam1224/AENet。
代码仓库
sam1224/aenet
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| few-shot-semantic-segmentation-on-coco-20i-1 | AENet (VGG-16) | FB-IoU: 71.8 Mean IoU: 46.4 |
| few-shot-semantic-segmentation-on-coco-20i-1 | AENet (ResNet-50) | FB-IoU: 74.4 Mean IoU: 51.3 |
| few-shot-semantic-segmentation-on-coco-20i-5 | AENet (ResNet-50) | FB-IoU: 78.5 Mean IoU: 57.1 |
| few-shot-semantic-segmentation-on-coco-20i-5 | AENet (VGG-16) | FB-IoU: 74.3 Mean IoU: 52.8 |
| few-shot-semantic-segmentation-on-pascal-5i-1 | AENet (ResNet-50) | FB-IoU: 81.2 Mean IoU: 70.3 |
| few-shot-semantic-segmentation-on-pascal-5i-1 | AENet (VGG-16) | FB-IoU: 79.0 Mean IoU: 66.6 |
| few-shot-semantic-segmentation-on-pascal-5i-5 | AENet (ResNet-50) | FB-IoU: 84.5 Mean IoU: 74.2 |
| few-shot-semantic-segmentation-on-pascal-5i-5 | AENet (VGG-16) | FB-IoU: 81.8 Mean IoU: 70.6 |