摘要

在常见的分类任务中，通常存在大量可用于训练的数据，但仅有少量数据被标注了类别标签。在此背景下，半监督学习的目标是通过利用不仅限于有标签数据，还包括大量无标签数据中的信息，来提升分类模型的准确率。近期研究通过探索不同增强方式下有标签与无标签数据之间的一致性约束，取得了显著进展。受此启发，本文提出一种新型无监督目标函数，重点关注尚未被充分研究的高置信度无标签样本之间相似性关系。所提出的 Pair Loss 旨在最小化相似度超过某一阈值的高置信度伪标签之间的统计距离。将该 Pair Loss 与 MixMatch 系列方法所发展的技术相结合，本文提出的 SimPLE 算法在 CIFAR-100 和 Mini-ImageNet 数据集上显著超越了以往算法，在 CIFAR-10 和 SVHN 数据集上的性能也达到了当前最先进水平。此外，SimPLE 在迁移学习设置下同样表现优异，当模型使用在 ImageNet 或 DomainNet-Real 上预训练的权重进行初始化时，其性能优于现有最先进方法。相关代码已开源，地址为：github.com/zijian-hu/SimPLE。