摘要
基于输入图像、特征或网络扰动的一致性学习在半监督语义分割任务中已展现出显著成效，但该方法极易受到未标注训练样本预测结果不准确的影响。这些不准确的预测会带来两个严重后果：其一，基于“严格”交叉熵（Cross-Entropy, CE）损失的训练过程容易对预测错误产生过拟合，从而引发确认偏差（confirmation bias）；其二，对这些错误预测施加的扰动，会将潜在错误的预测结果作为训练信号，进而损害一致性学习的效果。本文提出一种针对一致性学习中预测准确性问题的新方法，通过扩展经典的均值教师（Mean-Teacher, MT）模型实现。所提方法引入了一个新的辅助教师网络，并将原MT模型中的均方误差（Mean Square Error, MSE）损失替换为一种更严格的置信度加权交叉熵（Confidence-weighted Cross-Entropy, Conf-CE）损失。该改进使得模型能够生成更为准确的预测，从而支持在训练中采用更具挑战性的组合扰动策略——包括网络、输入数据和特征层面的联合扰动。其中，特征扰动部分引入了一种新型对抗性扰动机制。在多个公开基准数据集上的实验结果表明，本方法在半监督语义分割任务中显著优于此前的最先进（SOTA）方法。相关代码已开源，地址为：https://github.com/yyliu01/PS-MT。
代码仓库
yyliu01/ps-mt
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| semi-supervised-semantic-segmentation-on-1 | PS-MT (DeepLab v3+ with ImageNet-pretrained ResNet-50, single scale inference) | Validation mIoU: 78.38% |
| semi-supervised-semantic-segmentation-on-10 | PS-MT (DeepLab v3+ with ImageNet-pretrained ResNet-101, single scale inference) | Validation mIoU: 80.01 |
| semi-supervised-semantic-segmentation-on-10 | PS-MT (DeepLab v3+ with ImageNet-pretrained ResNet-50, single scale inference) | Validation mIoU: 78.08 |
| semi-supervised-semantic-segmentation-on-15 | PS-MT (DeepLab v3+ with ImageNet-pretrained ResNet-101, single scale inference) | Validation mIoU: 79.76% |
| semi-supervised-semantic-segmentation-on-2 | PS-MT (DeepLab v3+ with ImageNet-pretrained ResNet50, single scale inference) | Validation mIoU: 77.12% |
| semi-supervised-semantic-segmentation-on-4 | PS-MT | Validation mIoU: 75.70% |
| semi-supervised-semantic-segmentation-on-4 | PS-MT | Validation mIoU: 78.20% |
| semi-supervised-semantic-segmentation-on-8 | PS-MT (DeepLab v3+ with ImageNet-pretrained ResNet-50, single scale inference) | Validation mIoU: 79.22% |
| semi-supervised-semantic-segmentation-on-9 | PS-MT (DeepLab v3+ with ImageNet-pretrained ResNet-101, single scale inference) | Validation mIoU: 78.72 |