摘要

标签平滑（Label Smoothing, LS）是一种新兴的学习范式，通过将硬标签（hard labels）与均匀分布的软标签（soft labels）进行加权平均来实现。已有研究表明，LS可作为硬标签训练数据的正则化手段，从而提升模型的泛化能力。后续研究进一步发现，LS在处理噪声标签时也有助于增强模型的鲁棒性。然而，我们在高噪声标签场景下观察到，LS的优势显著减弱甚至消失。针对这一现象，我们深入探究后发现，文献中诸多针对噪声标签学习的解决方案实际上更接近于负标签平滑（Negative Label Smoothing, NLS），其定义为使用负权重将硬标签与软标签进行组合！我们进一步揭示，NLS与传统LS在模型置信度的生成机制上存在本质差异。为清晰区分二者，本文将LS重新命名为正标签平滑（Positive Label Smoothing, PLS），并提出将PLS与NLS统一为广义标签平滑（Generalized Label Smoothing, GLS）的框架。本文系统分析了GLS在噪声标签学习场景下的理论性质。在诸多已知性质之外，我们从理论上证明：当标签噪声率较高时，NLS相较于PLS更具优势。此外，我们在多个基准数据集上开展了大量实验，充分验证了上述理论发现，为噪声标签学习中标签平滑策略的选择提供了新的理论依据与实践指导。