摘要

一致性正则化（Consistency Regularization）是一种半监督学习技术，已被广泛应用于标签数据极少的分类任务中，并取得了多项优异成果。该方法通过促使模型在未标注数据上受到扰动时仍保持预测的一致性，从而增强模型的鲁棒性。本文提出了一种新颖的基于掩码（mask）的增强方法——CowMask。利用CowMask为半监督一致性正则化提供扰动，我们在ImageNet数据集上仅使用10%的标注数据，便实现了当前最先进的性能：top-5错误率为8.76%，top-1错误率为26.06%。此外，该方法相较于许多现有方案更为简洁高效。为进一步探究CowMask在半监督学习中的表现，我们在SVHN、CIFAR-10和CIFAR-100等小型数据集上开展了大量实验，结果与当前最先进水平相当，表明CowMask具有广泛的适用性。相关代码已开源，地址为：https://github.com/google-research/google-research/tree/master/milking_cowmask。