摘要

本文提出了一种简单而高效的半监督语义分割方法，称为CorrMatch。以往的方法大多采用复杂的训练策略来利用未标注数据，却忽视了相关性图（correlation maps）在建模位置对之间关系中的重要作用。我们发现，相关性图不仅能够轻松实现同一类别像素的聚类，还蕴含了良好的形状信息，而这一特性在先前的研究中被忽略了。受此启发，我们设计了两种新颖的标签传播策略，以提升未标注数据的利用效率。首先，我们提出通过建模像素间的成对相似性来进行像素级传播，从而扩散高置信度像素并挖掘出更多有效标注；其次，我们引入区域级传播机制，利用从相关性图中提取的准确类别无关掩码（class-agnostic masks）来优化伪标签。在多个主流语义分割基准测试中，CorrMatch均取得了优异性能。以ResNet-101为骨干网络的DeepLabV3+模型为例，在仅使用92张标注图像的情况下，我们在Pascal VOC 2012数据集上实现了超过76%的mIoU得分。相关代码已开源，地址为：https://github.com/BBBBchan/CorrMatch。