3 个月前

两个错误无法变成正确:在标签噪声学习中对抗确认偏见

两个错误无法变成正确:在标签噪声学习中对抗确认偏见

摘要

噪声标签会损害深度神经网络的性能。为实现鲁棒学习,一种主流的两阶段范式通过交替执行错误标签的剔除与半监督训练来应对噪声。然而,丢弃部分噪声标签可能导致信息损失,尤其是在标签污染具有数据依赖性时,例如类别相关或实例相关的噪声。此外,通过对代表性两阶段方法 DivideMix 的训练动态进行分析,我们发现存在显著的确认偏差(confirmation bias):伪标签无法有效纠正大量噪声标签,导致错误不断累积。为充分挖掘噪声标签中的有效信息并缓解错误修正问题,本文提出一种新型混合方法——鲁棒标签重构(Robust Label Refurbishment, Robust LR),该方法融合伪标签生成与置信度估计技术,对噪声标签进行重构与优化。实验表明,所提方法能有效缓解标签噪声与确认偏差的双重负面影响。在多种数据集和噪声类型下,Robust LR 均取得了当前最优的性能表现,涵盖在不同合成噪声水平下的 CIFAR 数据集,以及包含真实世界噪声的 Mini-WebVision 和 ANIMAL-10N 数据集。

基准测试

基准方法指标
image-classification-on-mini-webvision-1-0Robust LR
ImageNet Top-1 Accuracy: 75.48
ImageNet Top-5 Accuracy: 93.76
Top-1 Accuracy: 81.84
Top-5 Accuracy: 94.12

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
两个错误无法变成正确:在标签噪声学习中对抗确认偏见 | 论文 | HyperAI超神经