摘要
学习带噪声标签（Learning with Noisy Labels, LNL）方法的成功在很大程度上依赖于一个“预热阶段”（warm-up stage），该阶段采用完整的（含噪声的）训练数据集进行标准的监督学习训练。本文中，我们识别出一个关键问题——“预热障碍”：标准的预热阶段难以训练出高质量的特征提取器，也无法有效避免对噪声标签的记忆。为此，我们提出了一种名为“对比分割”（Contrast to Divide, C2D）的简单框架，该框架通过自监督方式对特征提取器进行预训练，从而解决上述问题。自监督预训练显著提升了现有LNL方法的性能，大幅降低了预热阶段对噪声水平的敏感性，缩短了其持续时间，并提升了所提取特征的质量。C2D可与现有方法无缝集成，无需额外调整，即可实现显著的性能提升，尤其在高噪声场景下表现突出。例如，在CIFAR-100数据集上，当噪声比例高达90%时，C2D相较于此前的最先进方法，准确率提升超过27%。在真实场景下的噪声设置中，基于mini-WebVision训练的C2D在WebVision和ImageNet验证集上的Top-1准确率均比之前的方法高出3%。我们对C2D框架进行了深入分析，包括比较不同预训练策略的性能表现，并估算了结合半监督学习时LNL方法的理论性能上限。用于复现实验的代码已公开，地址为：https://github.com/ContrastToDivide/C2D
代码仓库
ContrastToDivide/C2D
官方
pytorch
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| image-classification-on-cifar-10-with-noisy | C2D (DivideMix with SimCLR, ResNet-18) | Accuracy (under 20% Sym. label noise): 96.23 ± 0.09 Accuracy (under 50% Sym. label noise): 95.15 ± 0.16 Accuracy (under 80% Sym. label noise): 94.30 ± 0.12 Accuracy (under 90% Sym. label noise): 93.42 ± 0.09 Accuracy (under 95% Sym. label noise): 87.72 ± 2.21 |
| image-classification-on-cifar-10-with-noisy | C2D (ELR+ with SimCLR, ResNet-34) | Accuracy (under 20% Sym. label noise): 96.74 ± 0.12 Accuracy (under 50% Sym. label noise): 95.55 ± 0.32 Accuracy (under 80% Sym. label noise): 93.11 ± 0.70 Accuracy (under 90% Sym. label noise): 89.30 ± 0.21 Accuracy (under 95% Sym. label noise): 80.21 ± 1.91 |
| image-classification-on-clothing1m | ELR+ with C2D (ResNet-50) | Accuracy: 74.58 ± 0.15% |
| image-classification-on-mini-webvision-1-0 | DivideMix with C2D (ResNet-50) | ImageNet Top-1 Accuracy: 78.57 ± 0.37 ImageNet Top-5 Accuracy: 93.04 ± 0.10 Top-1 Accuracy: 79.42 ± 0.34 Top-5 Accuracy: 92.32 ± 0.33 |