
摘要
半监督学习作为一种有效范式,能够利用未标记数据减少对标注数据的依赖。本文提出了一种名为CoMatch的新方法,该方法统一了主流的半监督学习技术,并克服了其固有局限。CoMatch联合学习训练数据的两种表示:类别概率与低维嵌入表示。这两种表示相互作用,协同演化:嵌入表示通过施加平滑性约束来优化类别概率,从而提升伪标签的质量;而伪标签则通过基于图的对比学习,对嵌入结构进行正则化。在多个数据集上,CoMatch均取得了当前最优的性能表现。在标签稀缺的CIFAR-10和STL-10数据集上,其准确率获得了显著提升。在ImageNet数据集上,仅使用1%的标签时,CoMatch达到了66.0%的Top-1准确率,相比FixMatch提升了12.6%。此外,CoMatch在下游任务中的表示学习性能也优于监督学习与自监督学习方法。代码与预训练模型已开源,详见:https://github.com/salesforce/CoMatch。
代码仓库
ptrckhmmr/learning-to-defer-with-limited-expert-predictions
pytorch
GitHub 中提及
LKLQQ/ssc_resnet50
mindspore
GitHub 中提及
salesforce/CoMatch
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| semi-supervised-image-classification-on-1 | CoMatch (w. MoCo v2) | Top 1 Accuracy: 67.1% Top 5 Accuracy: 87.1% |
| semi-supervised-image-classification-on-2 | CoMatch (w. MoCo v2) | Top 1 Accuracy: 73.7% Top 5 Accuracy: 91.4% |
| semi-supervised-image-classification-on-cifar-15 | CoMatch (SimCLR) | Percentage error: 12.33±8.47 |
| semi-supervised-image-classification-on-cifar-16 | SimCLR (CoMatch) | Percentage error: 5.98 |
| semi-supervised-image-classification-on-cifar-7 | CoMatch (w. SimCLR) | Percentage error: 6.91±1.39 |
| semi-supervised-image-classification-on-stl-1 | SimCLR (CoMatch) | Accuracy: 77.46 |