3 个月前

CoMatch:基于对比图正则化的半监督学习

CoMatch:基于对比图正则化的半监督学习

摘要

半监督学习作为一种有效范式,能够利用未标记数据减少对标注数据的依赖。本文提出了一种名为CoMatch的新方法,该方法统一了主流的半监督学习技术,并克服了其固有局限。CoMatch联合学习训练数据的两种表示:类别概率与低维嵌入表示。这两种表示相互作用,协同演化:嵌入表示通过施加平滑性约束来优化类别概率,从而提升伪标签的质量;而伪标签则通过基于图的对比学习,对嵌入结构进行正则化。在多个数据集上,CoMatch均取得了当前最优的性能表现。在标签稀缺的CIFAR-10和STL-10数据集上,其准确率获得了显著提升。在ImageNet数据集上,仅使用1%的标签时,CoMatch达到了66.0%的Top-1准确率,相比FixMatch提升了12.6%。此外,CoMatch在下游任务中的表示学习性能也优于监督学习与自监督学习方法。代码与预训练模型已开源,详见:https://github.com/salesforce/CoMatch。

代码仓库

LKLQQ/ssc_resnet50
mindspore
GitHub 中提及
salesforce/CoMatch
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
semi-supervised-image-classification-on-1CoMatch (w. MoCo v2)
Top 1 Accuracy: 67.1%
Top 5 Accuracy: 87.1%
semi-supervised-image-classification-on-2CoMatch (w. MoCo v2)
Top 1 Accuracy: 73.7%
Top 5 Accuracy: 91.4%
semi-supervised-image-classification-on-cifar-15CoMatch (SimCLR)
Percentage error: 12.33±8.47
semi-supervised-image-classification-on-cifar-16SimCLR (CoMatch)
Percentage error: 5.98
semi-supervised-image-classification-on-cifar-7CoMatch (w. SimCLR)
Percentage error: 6.91±1.39
semi-supervised-image-classification-on-stl-1SimCLR (CoMatch)
Accuracy: 77.46

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
CoMatch:基于对比图正则化的半监督学习 | 论文 | HyperAI超神经