摘要
深度学习在处理带有噪声标签的数据时面临实际挑战，因为深度模型的容量非常高，它们在训练过程中迟早会完全记住这些噪声标签。然而，最近关于深度神经网络记忆效应的研究表明，这些模型首先会记住带有干净标签的训练数据，然后才会记住带有噪声标签的数据。因此，在本文中，我们提出了一种新的深度学习范式——协同教学（Co-teaching），以应对噪声标签问题。具体而言，我们同时训练两个深度神经网络，并让它们在每个小批量数据上互相教学：首先，每个网络前向传播所有数据并选择一些可能带有干净标签的数据；其次，两个网络相互交流在这个小批量中应该使用哪些数据进行训练；最后，每个网络反向传播由其同伴网络选择的数据并更新自身。在带噪声版本的MNIST、CIFAR-10和CIFAR-100上的实证结果表明，协同教学在训练模型的鲁棒性方面远优于现有最先进方法。
代码仓库
ziegler-ingo/cleavage_prediction
pytorch
GitHub 中提及
smilelab-fl/fednoisy
pytorch
GitHub 中提及
yeachan-kr/pytorch-coteaching
pytorch
GitHub 中提及
bhanML/Co-teaching
官方
pytorch
GitHub 中提及
viethungluu/co-teaching
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| image-classification-on-clothing1m | CoT | Accuracy: 70.15% |
| image-classification-on-mini-webvision-1-0 | Co-teaching (Inception-ResNet-v2) | ImageNet Top-1 Accuracy: 61.48 ImageNet Top-5 Accuracy: 84.70 Top-1 Accuracy: 63.58 Top-5 Accuracy: 85.20 |
| learning-with-noisy-labels-on-cifar-100n | Co-Teaching | Accuracy (mean): 60.37 |
| learning-with-noisy-labels-on-cifar-10n | Co-Teaching | Accuracy (mean): 91.20 |
| learning-with-noisy-labels-on-cifar-10n-1 | Co-Teaching | Accuracy (mean): 90.33 |
| learning-with-noisy-labels-on-cifar-10n-2 | Co-Teaching | Accuracy (mean): 90.30 |
| learning-with-noisy-labels-on-cifar-10n-3 | Co-Teaching | Accuracy (mean): 90.15 |
| learning-with-noisy-labels-on-cifar-10n-worst | Co-Teaching | Accuracy (mean): 83.83 |