摘要
少样本语义分割（Few-shot Semantic Segmentation, FSS）旨在构建类别无关的模型，仅依靠少量标注样本即可对未见类别进行分割。以往方法主要依赖语义特征与原型表示，存在分割粒度粗糙以及训练集过拟合等问题。本文提出层次解耦匹配网络（Hierarchically Decoupled Matching Network, HDMNet），基于Transformer架构挖掘像素级支持图像相关性。通过自注意力模块构建层次化密集特征，实现查询图像与支持图像特征之间的级联匹配。此外，我们设计了一种匹配模块以缓解训练集过拟合问题，并引入相关性蒸馏机制，利用粗分辨率下的语义对应关系提升细粒度分割性能。实验结果表明，所提方法表现优异：在COCO数据集的一次学习（one-shot）设置下，mIoU达到50.0%；在五次学习（five-shot）设置下，mIoU提升至56.0%。
代码仓库
pbihao/hdmnet
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| few-shot-semantic-segmentation-on-coco-20i-1 | HDMNet (ResNet-50) | FB-IoU: 72.2 Mean IoU: 50 |
| few-shot-semantic-segmentation-on-coco-20i-1 | HDMNet (VGG-16) | Mean IoU: 45.9 |
| few-shot-semantic-segmentation-on-coco-20i-5 | HDMNet (VGG-16) | Mean IoU: 52.4 |
| few-shot-semantic-segmentation-on-coco-20i-5 | HDMNet (ResNet-50) | FB-IoU: 77.7 Mean IoU: 56 |
| few-shot-semantic-segmentation-on-pascal-5i-1 | HDMNet (VGG-16) | Mean IoU: 65.1 |
| few-shot-semantic-segmentation-on-pascal-5i-1 | HDMNet (ResNet-50) | Mean IoU: 69.4 |
| few-shot-semantic-segmentation-on-pascal-5i-5 | HDMNet (ResNet-50) | Mean IoU: 71.8 |
| few-shot-semantic-segmentation-on-pascal-5i-5 | HDMNet (VGG-16) | Mean IoU: 69.3 |