摘要

由于数据量有限且分布不均，半监督语义分割在某些类别上的表现往往较差，例如在具有长尾标签分布的Cityscapes数据集中的尾部类别。现有方法大多忽视了这一问题，对各类别一视同仁。一些主流方法，如一致性正则化或伪标签策略，甚至可能损害表现较差类别的学习，因为这些类别的预测结果或伪标签本身可能过于不准确，难以有效指导未标注数据的学习过程。本文针对该问题提出了一种新颖的半监督语义分割框架——自适应均衡学习（Adaptive Equalization Learning, AEL）。AEL通过引入一个置信度银行（confidence bank），在训练过程中动态追踪各类别的表现，并据此自适应地平衡表现良好与表现不佳类别的训练过程。该置信度银行被用作引导信号，促使训练向表现较差的类别倾斜，具体体现在三种策略中：（1）自适应的Copy-Paste与CutMix数据增强方法，使表现较差的类别有更高的机会被复制或裁剪；（2）自适应的数据采样策略，提升对表现较差类别像素的采样概率；（3）一种简单而有效的重加权方法，以缓解伪标签引入的训练噪声。实验结果表明，在多种数据划分策略下，AEL在Cityscapes和Pascal VOC两个基准数据集上均显著超越当前最先进的方法。代码已开源，地址为：https://github.com/hzhupku/SemiSeg-AEL。