摘要
近年来，深度学习的进展主要依赖于大规模、带标签的数据集来训练高容量模型。然而，以高效的时间和成本收集大规模数据集往往会导致标签噪声的产生。本文提出一种面向噪声标签的学习方法，该方法利用特征空间中训练样本之间的相似性，促使每个样本的预测结果与其最近邻样本的预测结果保持一致。与需要多个模型或分阶段处理的训练算法相比，我们的方法仅通过一个简洁的正则化项实现，形式简单且易于集成。该方法可被理解为经典、基于归纳的标签传播算法的推广形式。我们在多个数据集上对所提方法进行了全面评估，涵盖合成噪声（CIFAR-10、CIFAR-100）和真实场景噪声（mini-WebVision、WebVision、Clothing1M、mini-ImageNet-Red），并在所有数据集上均取得了具有竞争力甚至达到当前最优的分类准确率。
代码仓库
google-research/scenic
官方
jax
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| image-classification-on-mini-webvision-1-0 | NCR+Mixup+DA (ResNet-50) | Top-1 Accuracy: 80.5 |
| image-classification-on-mini-webvision-1-0 | NCR+Mixup (ResNet-50) | Top-1 Accuracy: 79.4 |
| image-classification-on-mini-webvision-1-0 | NCR (ResNet-50) | Top-1 Accuracy: 77.1 |
| image-classification-on-red-miniimagenet-20 | NCR (ResNet-18) | Accuracy: 69.0 |
| image-classification-on-red-miniimagenet-40 | NCR (ResNet-18) | Accuracy: 64.6 |
| image-classification-on-red-miniimagenet-80 | NCR (ResNet-18) | Accuracy: 51.2 |
| image-classification-on-webvision-1000 | NCR (ResNet-50) | Top-1 Accuracy: 75.7% |
| image-classification-on-webvision-1000 | NCR+Mixup+DA (ResNet-50) | Top-1 Accuracy: 76.8 |
| learning-with-noisy-labels-on-red | NCR (ResNet-18) | Test Accuracy: 69.0 |
| learning-with-noisy-labels-on-red-1 | NCR (ResNet-18) | Test Accuracy: 64.6 |
| learning-with-noisy-labels-on-red-3 | NCR (ResNet-18) | Test Accuracy: 51.2 |