摘要
人工标注标签通常容易受到噪声干扰，而此类噪声的存在会显著降低所构建深度神经网络（DNN）模型的性能。现有文献（尽管近年来已有若干例外）在处理噪声标签的学习问题时，主要关注标签噪声与特征无关的情形。然而在实际应用中，标注错误往往具有实例依赖性，且通常与识别某一任务的难度密切相关。若直接将适用于实例无关噪声场景的现有方法应用于此类问题，往往需要对噪声率进行大量估计，这在实践中既不现实也难以准确实现。因此，针对实例依赖性标签噪声的学习问题，提供理论严谨的解决方案仍是一大挑战。本文提出一种名为CORES²（COnfidence REgularized Sample Sieve）的新方法，该方法通过逐步筛除被污染的样本实现噪声过滤。CORES²的实现无需预先指定噪声率，同时我们能够为该方法在剔除错误样本方面提供严格的理论保证。这一高质量的样本筛除机制使得在训练DNN模型时，可将干净样本与被污染样本分别处理，而在实例依赖性噪声设置下，这种分离策略被证明具有显著优势。我们在CIFAR-10和CIFAR-100数据集上引入合成的实例依赖性标签噪声，以及在Clothing1M数据集上使用真实世界的人工标注噪声，对CORES²的性能进行了验证。此外，从独立研究兴趣出发，我们的样本筛除机制为分析噪声数据集提供了一种通用工具，并为多种鲁棒训练技术提供了灵活的接口，有助于进一步提升模型性能。代码已公开，详见：https://github.com/UCSC-REAL/cores。
代码仓库
UCSC-REAL/cores
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| image-classification-on-clothing1m | CORES2 | Accuracy: 73.24% |
| learning-with-noisy-labels-on-cifar-100n | CORES* | Accuracy (mean): 55.72 |
| learning-with-noisy-labels-on-cifar-100n | CORES | Accuracy (mean): 61.15 |
| learning-with-noisy-labels-on-cifar-10n | CORES* | Accuracy (mean): 95.25 |
| learning-with-noisy-labels-on-cifar-10n | CORES | Accuracy (mean): 91.23 |
| learning-with-noisy-labels-on-cifar-10n-1 | CORES* | Accuracy (mean): 94.45 |
| learning-with-noisy-labels-on-cifar-10n-1 | CORES | Accuracy (mean): 89.66 |
| learning-with-noisy-labels-on-cifar-10n-2 | CORES* | Accuracy (mean): 94.88 |
| learning-with-noisy-labels-on-cifar-10n-2 | CORES | Accuracy (mean): 89.91 |
| learning-with-noisy-labels-on-cifar-10n-3 | CORES | Accuracy (mean): 89.79 |
| learning-with-noisy-labels-on-cifar-10n-3 | CORES* | Accuracy (mean): 94.74 |
| learning-with-noisy-labels-on-cifar-10n-worst | CORES | Accuracy (mean): 83.60 |
| learning-with-noisy-labels-on-cifar-10n-worst | CORES* | Accuracy (mean): 91.66 |