摘要
本文提出了一种新颖的半监督语义分割方法。该方法的核心在于我们设计的对比学习模块，该模块强制分割网络在全数据集范围内，对同类别样本产生相似的像素级特征表示。为实现这一目标，我们构建了一个持续更新的内存库，其中存储来自标注数据的高质量、相关性高的特征向量。在端到端的训练过程中，来自标注数据和未标注数据的特征均被优化，使其与内存库中同类别样本的特征保持一致。实验结果表明，该方法在多个知名公开基准上均超越了当前最先进的半监督语义分割与半监督域适应性能，尤其在标注数据稀缺这一更具挑战性的场景下，取得了更为显著的提升。项目代码已开源：https://github.com/Shathe/SemiSeg-Contrastive
代码仓库
Shathe/SemiSeg-Contrastive
官方
pytorch
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| semi-supervised-semantic-segmentation-on-1 | SemiSegContrast (DeepLab v2 with ResNet-101 backbone, MSCOCO pretrained) | Validation mIoU: 65.9% |
| semi-supervised-semantic-segmentation-on-2 | SemiSegContrast (DeepLab v2 with ResNet-101 backbone, MSCOCO pretrained) | Validation mIoU: 64.4% |
| semi-supervised-semantic-segmentation-on-3 | SemiSegContrast (DeepLab v2 with ResNet-101 backbone, MSCOCO pretrained) | Validation mIoU: 59.4% |
| semi-supervised-semantic-segmentation-on-3 | SemiSegContrast (DeepLab v3+ with ResNet-50 backbone, MSCOCO pretrained) | Validation mIoU: 64.9% |
| semi-supervised-semantic-segmentation-on-4 | SemiSegContrast | Validation mIoU: 71.6% |
| semi-supervised-semantic-segmentation-on-5 | SemiSegContrast (DeepLab v2 with ResNet-101 backbone, MSCOCO pretrained) | Validation mIoU: 70.0% |
| semi-supervised-semantic-segmentation-on-6 | SemiSegContrast (DeepLab v2 with ResNet-101 backbone, MSCOCO pretrained) | Validation mIoU: 67.9% |