摘要
深度神经网络以标注数据需求量大著称。为降低深度网络学习过程中的标注成本，研究者们提出了诸多方法。其中两个主流方向分别是利用噪声标签进行学习，以及通过挖掘未标注数据实现半监督学习。本文提出了一种名为 DivideMix 的新框架，旨在通过融合半监督学习技术来应对噪声标签学习问题。具体而言，DivideMix 采用混合模型对每个样本的损失分布进行建模，动态地将训练数据划分为两部分：包含干净样本的有标签数据集，以及包含噪声样本的无标签数据集，并以半监督方式在有标签和无标签数据上联合训练模型。为避免确认偏差（confirmation bias），我们同时训练两个结构不同的网络，每个网络均使用另一网络所生成的数据划分结果。在半监督训练阶段，我们对 MixMatch 策略进行了改进，分别对有标签样本和无标签样本执行标签协同精炼（label co-refinement）与标签协同猜测（label co-guessing）。在多个基准数据集上的实验结果表明，该方法显著优于当前最先进的技术。相关代码已开源，地址为：https://github.com/LiJunnan1992/DivideMix。
代码仓库
jyansir/text2tree
pytorch
GitHub 中提及
LiJunnan1992/DivideMix
官方
pytorch
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| image-classification-on-clothing1m | DivideMix | Accuracy: 74.76% |
| image-classification-on-mini-webvision-1-0 | DivideMix (ResNet-50) | ImageNet Top-1 Accuracy: 74.42 ±0.29 ImageNet Top-5 Accuracy: 91.21 ±0.12 Top-1 Accuracy: 76.32 ±0.36 Top-5 Accuracy: 90.65 ±0.16 |
| image-classification-on-mini-webvision-1-0 | DivideMix (ResNet-18) | Top-1 Accuracy: 76.08 |
| image-classification-on-mini-webvision-1-0 | DivideMix (Inception-ResNet-v2) | ImageNet Top-1 Accuracy: 75.20 ImageNet Top-5 Accuracy: 91.64 Top-1 Accuracy: 77.32 Top-5 Accuracy: 91.64 |
| learning-with-noisy-labels-on-cifar-100n | Divide-Mix | Accuracy (mean): 71.13 |
| learning-with-noisy-labels-on-cifar-10n | Divide-Mix | Accuracy (mean): 95.01 |
| learning-with-noisy-labels-on-cifar-10n-1 | Divide-Mix | Accuracy (mean): 90.18 |
| learning-with-noisy-labels-on-cifar-10n-2 | Divide-Mix | Accuracy (mean): 90.90 |
| learning-with-noisy-labels-on-cifar-10n-3 | Divide-Mix | Accuracy (mean): 89.97 |
| learning-with-noisy-labels-on-cifar-10n-worst | Divide-Mix | Accuracy (mean): 92.56 |