摘要

我们提出了一种新颖的框架，用于在存在噪声标注的情况下通过深度学习实现分类任务。研究表明，当深度神经网络在带有噪声的标签上进行训练时，会首先经历一个“早期学习”阶段，此时模型优先拟合那些具有正确标签的训练样本，随后才逐渐开始记忆那些带有错误标签的样本。我们证明了在高维分类任务中，早期学习与记忆化现象是根本性的，即使在简单的线性模型中也同样存在，并为此提供了理论解释。基于上述发现，我们开发了一种面向噪声分类任务的新方法，该方法充分利用早期学习阶段的进展。与现有方法不同——后者通常利用早期学习阶段的模型输出来识别正确标签的样本，并对错误标签进行忽略或修正——我们采取了一种全新的策略：通过正则化手段主动利用早期学习过程。本方法包含两个关键要素：其一，我们采用半监督学习技术，基于模型输出生成目标概率；其二，我们设计了一种正则化项，引导模型向这些目标概率靠拢，从而隐式地抑制对错误标签的记忆。实验结果表明，该框架在多个标准基准数据集和真实世界数据集上均展现出对噪声标注的强鲁棒性，性能达到甚至媲美当前最先进的方法。