摘要

标签平滑（label smoothing）在深度学习模型的训练中被广泛使用，其核心思想是将独热编码（one-hot）的训练标签与均匀分布的标签向量进行混合。经验研究表明，标签平滑能够同时提升模型的预测性能和校准能力。本文探讨了标签平滑在应对标签噪声（label noise）问题上的有效性。尽管标签平滑表面上似乎加剧了标签噪声问题——本质上等价于向标签中注入对称噪声——但我们揭示了其与标签噪声领域中一类广义的损失校正（loss-correction）方法之间的内在联系。基于这一理论联系，我们证明了在存在标签噪声的情况下，标签平滑的表现可与传统的损失校正方法相媲美。此外，我们进一步发现，在从含噪数据中进行知识蒸馏（knowledge distillation）时，对教师模型（teacher model）采用标签平滑具有显著优势。这一结果与近期针对无噪声场景的研究发现形成对比，为标签平滑在何种条件下具有实际效益提供了更深入的理论洞察。