摘要

噪声训练集通常会导致神经网络泛化能力与鲁棒性的下降。本文提出了一种具有理论保证的噪声标签检测框架，用于在“带噪声标签学习”（Learning with Noisy Labels, LNL）中识别并剔除噪声数据。具体而言，我们设计了一种惩罚回归模型，用以建模网络特征与独热编码标签之间的线性关系，其中噪声数据通过回归模型求解出的非零均值偏移参数来识别。为使该框架能够适用于类别数量众多且训练数据规模庞大的数据集，我们提出一种分割算法，将整个训练集划分为若干小块，可并行地通过惩罚回归进行求解，从而构建出可扩展的惩罚回归（Scalable Penalized Regression, SPR）框架。本文还给出了SPR在非渐近概率意义下正确识别噪声数据的理论条件。尽管SPR可被视为标准监督学习流程中的样本选择模块，我们进一步将其与半监督学习算法相结合，充分利用噪声数据作为未标注数据的潜在价值。在多个基准数据集及真实世界噪声数据集上的实验结果表明，所提框架具有良好的有效性。相关代码与预训练模型已开源，地址为：https://github.com/Yikai-Wang/SPR-LNL。