摘要
带有噪声标签的学习是监督学习中常见的挑战。现有的方法通常要求研究者预先指定噪声率，即一组用于控制标签噪声严重程度的参数，而这些参数的设定要么被假设为已知，要么需通过额外步骤进行估计。在本工作中，我们提出了一类全新的损失函数，命名为同伴损失函数（peer loss functions），该方法能够在不事先指定噪声率的情况下实现从噪声标签中学习。同伴损失函数在标准的经验风险最小化（Empirical Risk Minimization, ERM）框架内运行。我们证明，在较弱的条件下，基于噪声数据集使用同伴损失函数进行ERM，可获得与在未污染的干净训练数据上执行ERM所得到的最优或近似最优分类器相当的性能——尽管我们实际上无法访问干净数据。我们通过大量实验验证了该方法的有效性。同伴损失为应对可能存在噪声的训练标签提供了简化模型开发的新途径，可作为此类场景下的稳健损失函数候选方案进行推广。
代码仓库
weijiaheng/Multi-class-Peer-Loss-functions
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| learning-with-noisy-labels-on-cifar-100n | Peer Loss | Accuracy (mean): 57.59 |
| learning-with-noisy-labels-on-cifar-10n | Peer Loss | Accuracy (mean): 90.75 |
| learning-with-noisy-labels-on-cifar-10n-1 | Peer Loss | Accuracy (mean): 89.06 |
| learning-with-noisy-labels-on-cifar-10n-2 | Peer Loss | Accuracy (mean): 88.76 |
| learning-with-noisy-labels-on-cifar-10n-3 | Peer Loss | Accuracy (mean): 88.57 |
| learning-with-noisy-labels-on-cifar-10n-worst | Peer Loss | Accuracy (mean): 82.53 |