摘要
少样本语义分割的任务是在仅有少量标注的支持图像情况下，学习定位查询图像中新型类别的每一个像素。当前基于相关性的方法通过构建成对特征相关性来建立多对多的匹配关系，这是因为传统的原型方法难以捕捉细粒度的对应关系。然而，现有方法仍面临两个关键问题：原始相关性中包含噪声，且相关性缺乏上下文语义信息。为缓解上述问题，本文提出一种特征增强的上下文感知网络（Feature-Enhanced Context-Aware Network, FECANet）。具体而言，我们设计了一个特征增强模块，用于抑制由类间局部相似性引起的匹配噪声，同时增强原始相关性中的类内相关性。此外，我们提出一种新颖的相关性重构模块，能够编码前景与背景之间的额外对应关系以及多尺度上下文语义特征，显著提升编码器捕捉可靠匹配模式的能力。在PASCAL-$5^i$和COCO-$20^i$数据集上的实验结果表明，所提出的FECANet相较于现有最先进方法取得了显著性能提升，充分验证了其有效性。
代码仓库
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| few-shot-semantic-segmentation-on-coco-20i-1 | FECANet (VGG-16) | FB-IoU: 65.5 Mean IoU: 35.4 |
| few-shot-semantic-segmentation-on-coco-20i-1 | FECANet (ResNet-50) | FB-IoU: 69.6 Mean IoU: 41.6 |
| few-shot-semantic-segmentation-on-coco-20i-10 | FECANet (ResNet-50) | Mean IoU: 49.6 |
| few-shot-semantic-segmentation-on-coco-20i-5 | FECANet (ResNet-50) | FB-IoU: 71.1 Mean IoU: 47.6 |
| few-shot-semantic-segmentation-on-coco-20i-5 | FECANet (VGG-16) | FB-IoU: 67.7 Mean IoU: 41.5 |
| few-shot-semantic-segmentation-on-pascal-5i | FECANet (ResNet-50) | Mean IoU: 71.5 |
| few-shot-semantic-segmentation-on-pascal-5i-1 | FECANet (VGG-16) | FB-IoU: 76.2 Mean IoU: 64.3 |
| few-shot-semantic-segmentation-on-pascal-5i-1 | FECANet (ResNet-50) | FB-IoU: 78.7 Mean IoU: 67.4 |
| few-shot-semantic-segmentation-on-pascal-5i-5 | FECANet (VGG-16) | FB-IoU: 77.6 Mean IoU: 66.7 |
| few-shot-semantic-segmentation-on-pascal-5i-5 | FECANet (ResNet-50) | FB-IoU: 80.7 Mean IoU: 70 |