
摘要
噪声标签学习已经通过判别方法和生成方法得到了解决。尽管判别方法具有简单高效的特点,但生成模型提供了一种更为合理的方法来分离干净标签和噪声标签,并估计标签转换矩阵。然而,现有的生成方法通常需要通过昂贵的生成模块或启发式假设推断额外的潜在变量,这阻碍了对不同因果方向的自适应优化。此外,这些方法还假设了一个均匀的干净标签先验分布,这并不能反映样本级别的干净标签分布及其不确定性。在本文中,我们提出了一种新的生成噪声标签学习框架,以应对这些挑战。首先,我们提出了一种新的单阶段优化方法,该方法直接通过判别分类器的输出来近似图像生成过程。这种近似显著降低了图像生成的计算成本,同时保留了生成建模的优势,并使我们的框架能够适应不同的因果场景(即图像生成标签或反之亦然)。其次,我们引入了一种新的部分标签监督(Partial Label Supervision, PLS)方法用于噪声标签学习,该方法考虑了干净标签的覆盖率和不确定性。PLS 的监督不仅旨在最小化损失函数,而是力求捕捉样本级别的干净标签分布及其不确定性。我们在计算机视觉和自然语言处理(NLP)基准数据集上进行了广泛的实验,结果表明我们的生成模型在显著降低计算成本的同时达到了最先进的性能。我们的代码已发布在 https://github.com/lfb-1/GNL。
代码仓库
lfb-1/gnl
官方
pytorch
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| learning-with-noisy-labels-on-animal | GNL | Accuracy: 85.9 ImageNet Pretrained: NO Network: Vgg-19-BN |
| learning-with-noisy-labels-on-cifar-10n | GNL | Accuracy (mean): 92.57 |
| learning-with-noisy-labels-on-cifar-10n-1 | GNL | Accuracy (mean): 91.97 |
| learning-with-noisy-labels-on-cifar-10n-2 | GNL | Accuracy (mean): 91.42 |
| learning-with-noisy-labels-on-cifar-10n-3 | GNL | Accuracy (mean): 91.83 |
| learning-with-noisy-labels-on-cifar-10n-worst | GNL | Accuracy (mean): 86.99 |