3 个月前

NP-Match:当神经过程遇见半监督学习

NP-Match:当神经过程遇见半监督学习

摘要

近年来,半监督学习(Semi-Supervised Learning, SSL)受到了广泛关注,其核心思想是有效利用未标注数据以降低对标注数据的依赖。本文将神经过程(Neural Processes, NPs)适配至半监督图像分类任务,提出一种新方法——NP-Match。该方法适用于该任务主要基于以下两点原因:首先,NP-Match在进行预测时隐式地对数据点进行比较,使得每个未标注样本的预测结果受到与其相似的已标注样本的影响,从而提升伪标签的质量;其次,NP-Match能够有效估计预测不确定性,该不确定性可作为筛选具有可靠伪标签的未标注样本的工具。相较于采用蒙特卡洛(Monte Carlo, MC)丢弃法实现的基于不确定性的SSL方法,NP-Match在估计不确定性方面具有显著更低的计算开销,可在训练和测试阶段均大幅节省时间。我们在四个公开数据集上进行了大量实验,结果表明,NP-Match在多数情况下超越了当前最先进(State-of-the-Art, SOTA)方法,或取得了具有竞争力的性能表现,充分验证了NP-Match的有效性及其在半监督学习领域的巨大潜力。

代码仓库

jianf-wang/np-match
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
semi-supervised-image-classification-on-2NP-Match(ResNet-50)
Top 1 Accuracy: 58.22%
semi-supervised-image-classification-on-cifarNP-Match
Percentage error: 4.11±0.02
semi-supervised-image-classification-on-cifarUPS (wrn-28-2)
Percentage error: 4.25
semi-supervised-image-classification-on-cifar-2NP-Match
Percentage error: 21.22
semi-supervised-image-classification-on-cifar-6NP-Match
Percentage error: 4.87
semi-supervised-image-classification-on-cifar-7NP-Match
Percentage error: 4.91
semi-supervised-image-classification-on-cifar-8NP-Match
Percentage error: 38.67
semi-supervised-image-classification-on-cifar-9NP-Match
Percentage error: 26.03
semi-supervised-image-classification-on-stl-1NP-Match
Accuracy: 94.53
semi-supervised-image-classification-on-stl-3NP-Match
Accuracy: 85.8

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
NP-Match:当神经过程遇见半监督学习 | 论文 | HyperAI超神经