摘要

近年来，基于一致性的方法在半监督学习（SSL）中取得了最先进的成果。这些方法通常涉及两个角色，即显式或隐式的教师模型和学生模型，并通过一致性约束对不同扰动下的预测进行惩罚。然而，这两个角色的权重紧密耦合，因为教师模型本质上是学生模型的指数移动平均（EMA）。在这项工作中，我们展示了这种耦合的EMA教师模型会导致性能瓶颈。为了解决这一问题，我们引入了双学生模型（Dual Student），用另一个学生模型替代教师模型。我们还定义了一个新的概念——稳定样本（stable sample），并据此设计了一种稳定化约束，以使我们的结构可训练。此外，我们讨论了该方法的两种变体，它们能够进一步提高性能。大量实验表明，我们的方法在多个主要的半监督学习基准上显著提升了分类性能。具体而言，在CIFAR-10数据集上使用1k标签时，将13层CNN的错误率从16.84%降低到12.39%；在CIFAR-100数据集上使用10k标签时，将错误率从34.10%降低到31.56%。此外，我们的方法在域适应方面也取得了明显的改进。