摘要

在本文中，我们提出了一种简单且高效的方法，用于在半监督设置下训练深度神经网络，其中只有少量训练数据被标记。我们引入了自集成（self-ensembling）方法，通过在网络训练的不同阶段使用不同的正则化和输入增强条件下的网络输出来形成对未知标签的一致预测。这种集成预测可以预期比最近一次训练阶段的网络输出更好地预测未知标签，因此可以作为训练的目标。利用我们的方法，我们在两个标准的半监督学习基准上创下了新的记录：在SVHN数据集上，使用500个标签时，分类错误率从18.44%降低到7.05%；在CIFAR-10数据集上，使用4000个标签时，分类错误率从18.63%降低到16.55%。进一步启用标准增强后，这两个数据集的分类错误率分别降至5.12%和12.16%。此外，通过在训练过程中使用Tiny Images数据集中的随机图像作为未标记的额外输入，我们在CIFAR-100分类准确性方面也获得了显著提升。最后，我们展示了该方法对错误标签的良好容忍度。