
摘要
近年来,半监督学习(Semi-Supervised Learning, SSL)受到了广泛关注,其核心思想是有效利用未标注数据以降低对标注数据的依赖。本文将神经过程(Neural Processes, NPs)适配至半监督图像分类任务,提出一种新方法——NP-Match。该方法适用于该任务主要基于以下两点原因:首先,NP-Match在进行预测时隐式地对数据点进行比较,使得每个未标注样本的预测结果受到与其相似的已标注样本的影响,从而提升伪标签的质量;其次,NP-Match能够有效估计预测不确定性,该不确定性可作为筛选具有可靠伪标签的未标注样本的工具。相较于采用蒙特卡洛(Monte Carlo, MC)丢弃法实现的基于不确定性的SSL方法,NP-Match在估计不确定性方面具有显著更低的计算开销,可在训练和测试阶段均大幅节省时间。我们在四个公开数据集上进行了大量实验,结果表明,NP-Match在多数情况下超越了当前最先进(State-of-the-Art, SOTA)方法,或取得了具有竞争力的性能表现,充分验证了NP-Match的有效性及其在半监督学习领域的巨大潜力。
代码仓库
jianf-wang/np-match
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| semi-supervised-image-classification-on-2 | NP-Match(ResNet-50) | Top 1 Accuracy: 58.22% |
| semi-supervised-image-classification-on-cifar | NP-Match | Percentage error: 4.11±0.02 |
| semi-supervised-image-classification-on-cifar | UPS (wrn-28-2) | Percentage error: 4.25 |
| semi-supervised-image-classification-on-cifar-2 | NP-Match | Percentage error: 21.22 |
| semi-supervised-image-classification-on-cifar-6 | NP-Match | Percentage error: 4.87 |
| semi-supervised-image-classification-on-cifar-7 | NP-Match | Percentage error: 4.91 |
| semi-supervised-image-classification-on-cifar-8 | NP-Match | Percentage error: 38.67 |
| semi-supervised-image-classification-on-cifar-9 | NP-Match | Percentage error: 26.03 |
| semi-supervised-image-classification-on-stl-1 | NP-Match | Accuracy: 94.53 |
| semi-supervised-image-classification-on-stl-3 | NP-Match | Accuracy: 85.8 |