摘要

近年来，参数量远超训练样本数量的过参数化深度网络在现代机器学习中占据了主导地位，显著提升了模型性能。然而，当训练数据存在标签噪声时，过参数化网络往往容易过拟合，导致泛化能力下降。本文提出了一种针对分类任务中部分训练标签被污染情况下的过参数化深度网络鲁棒训练的系统性方法。其核心思想简洁而深刻：标签噪声具有稀疏性，且与从干净数据中学习到的网络表示在结构上不相干，因此可通过建模噪声并学习将其从数据中分离出来。具体而言，我们引入一个额外的稀疏过参数化项来建模标签噪声，并利用隐式算法正则化机制，实现对潜在噪声的恢复与分离。令人瞩目的是，在实际应用中仅采用这一简单方法进行训练，便在多种真实数据集上实现了当前最优的抗标签噪声测试准确率。此外，我们在简化的线性模型上提供了理论支持，证明在不相干条件下，稀疏噪声与低秩数据之间可实现精确分离。本工作为通过稀疏过参数化与隐式正则化提升过参数化模型性能开辟了诸多富有前景的研究方向。