摘要

先前的研究发现，将可证明具有抗噪声能力的损失函数（如平均绝对误差，MAE）与标准的分类损失函数（如交叉熵，CE）相结合，有助于提升模型的可学习性。本文提出采用Jensen-Shannon散度作为抗噪声损失函数，并发现该损失函数在控制混合参数的调节下，能够有趣地在CE与MAE之间进行插值。此外，我们提出一个关键观察：交叉熵在噪声数据点附近的保持性（consistency）较低。基于这一发现，我们引入了适用于多分布的Jensen-Shannon散度的广义形式，以增强模型在数据点周围的保持性。基于该损失函数，我们在合成数据集（如CIFAR）和真实世界数据集（如WebVision）上均取得了在不同噪声率下的最先进性能。