3 个月前

FixMatch:通过一致性和置信度简化半监督学习

FixMatch:通过一致性和置信度简化半监督学习

摘要

半监督学习(Semi-Supervised Learning, SSL)为有效利用未标注数据以提升模型性能提供了一种高效途径。本文展示了两种常见SSL方法——一致性正则化(consistency regularization)与伪标签(pseudo-labeling)——简单组合所展现出的强大能力。我们提出的算法FixMatch首先利用模型对弱增强(weakly-augmented)未标注图像的预测结果生成伪标签;对于某一图像,仅当模型输出具有高置信度时,该伪标签才会被保留。随后,模型在输入同一图像的强增强版本时,被训练以预测对应的伪标签。尽管算法结构简洁,我们实证表明,FixMatch在多个标准半监督学习基准测试中均取得了当前最优的性能表现:在仅使用250个标签的情况下,CIFAR-10数据集上达到94.93%的准确率;而在仅40个标签(即每类仅4个样本)的情形下,准确率仍高达88.61%。由于FixMatch与若干现有SSL方法在结构上具有诸多相似之处,但后者表现较差,因此我们开展了详尽的消融实验,以识别出对FixMatch成功至关重要的关键实验因素。相关代码已公开,访问地址为:https://github.com/google-research/fixmatch。

基准测试

基准方法指标
image-classification-on-stl-10ReMixMatch
Percentage correct: 94.77
image-classification-on-stl-10FixMatch (CTA)
Percentage correct: 94.83
image-classification-on-stl-10FixMatch (RA)
Percentage correct: 92.02
image-classification-on-stl-10UDA
Percentage correct: 92.34
image-classification-on-stl-10Π-Model
Percentage correct: 73.77
image-classification-on-stl-10Pseudo-Labeling
Percentage correct: 72.01
image-classification-on-stl-10MixMatch
Percentage correct: 89.59
image-classification-on-stl-10Mean Teacher
Percentage correct: 78.57

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
FixMatch:通过一致性和置信度简化半监督学习 | 论文 | HyperAI超神经