
摘要
现有的少样本分割方法在支持-查询匹配框架的基础上取得了显著进展。然而,这些方法仍然严重受限于少样本支持图像所提供的类内变化覆盖范围有限的问题。受简单的格式塔(Gestalt)原则启发——同一物体内的像素彼此之间比同类别不同物体的像素更相似,我们提出了一种新颖的自支持匹配策略,以缓解这一问题。该策略利用查询原型来匹配查询特征,其中查询原型来源于高置信度的查询预测结果。该方法能够有效捕捉查询对象的一致性底层特征,从而实现更精准的查询特征匹配。此外,我们还设计了一种自适应的自支持背景原型生成模块以及自支持损失函数,进一步促进自支持匹配过程。所提出的自支持网络显著提升了原型质量,能够从更强的主干网络和更多支持样本中获得更大性能提升,并在多个数据集上达到了当前最优(SOTA)水平。代码已开源,地址为:\url{https://github.com/fanq15/SSP}。
代码仓库
fanq15/ssp
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| few-shot-semantic-segmentation-on-coco-20i-1 | SSP (ResNet-101) | Mean IoU: 42 |
| few-shot-semantic-segmentation-on-coco-20i-1 | SSP (ResNet-50) | Mean IoU: 37.4 |
| few-shot-semantic-segmentation-on-coco-20i-5 | SSP (ResNet-101) | Mean IoU: 50.2 |
| few-shot-semantic-segmentation-on-coco-20i-5 | SSP (ResNet-50) | Mean IoU: 44.1 |
| few-shot-semantic-segmentation-on-fss-1000-1 | SSP | Mean IoU: 87.3 |
| few-shot-semantic-segmentation-on-fss-1000-5 | SSP | Mean IoU: 88.6 |
| few-shot-semantic-segmentation-on-pascal-5i-1 | SSP (ResNet-50) | Mean IoU: 61.4 |
| few-shot-semantic-segmentation-on-pascal-5i-1 | SSP (ResNet-101) | Mean IoU: 64.6 |
| few-shot-semantic-segmentation-on-pascal-5i-5 | SSP (ResNet-101) | Mean IoU: 73.1 |
| few-shot-semantic-segmentation-on-pascal-5i-5 | SSP (ResNet-50) | Mean IoU: 69.3 |