摘要
深度神经网络（DNNs）在多个学科的多种应用中取得了巨大成功。然而，其卓越性能的背后是需要正确标注的大规模数据集这一高昂成本。此外，由于DNNs具有丰富的容量，训练标签中的错误可能会损害其性能。为了解决这一问题，最近提出了均方绝对误差（MAE）作为常用分类交叉熵（CCE）损失的噪声鲁棒替代方案。然而，如本文所示，MAE在处理DNNs和具有挑战性的数据集时可能表现不佳。在此，我们提出了一组理论上严谨的噪声鲁棒损失函数，可以视为MAE和CCE的泛化形式。所提出的损失函数可以方便地应用于任何现有的DNN架构和算法，并在各种噪声标签场景下表现出良好的性能。我们报告了使用CIFAR-10、CIFAR-100和FASHION-MNIST数据集以及人工生成的噪声标签进行实验的结果。
代码仓库
arghosh/noisy_label_pretrain
pytorch
GitHub 中提及
dmizr/phuber
pytorch
GitHub 中提及
awasthiabhijeet/Learning-From-Rules
tf
GitHub 中提及
AlanChou/Truncated-Loss
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| image-classification-on-clothing1m | GCE | Accuracy: 69.75% |
| learning-with-noisy-labels-on-cifar-100n | GCE | Accuracy (mean): 56.73 |
| learning-with-noisy-labels-on-cifar-10n | GCE | Accuracy (mean): 87.85 |
| learning-with-noisy-labels-on-cifar-10n-1 | GCE | Accuracy (mean): 87.61 |
| learning-with-noisy-labels-on-cifar-10n-2 | GCE | Accuracy (mean): 87.70 |
| learning-with-noisy-labels-on-cifar-10n-3 | GCE | Accuracy (mean): 87.58 |
| learning-with-noisy-labels-on-cifar-10n-worst | GCE | Accuracy (mean): 80.66 |