摘要

在本文中，我们研究了在标签噪声存在的情况下学习图像分类模型的问题。我们重新审视了一种简单的压缩正则化方法——嵌套丢弃（Nested Dropout）。研究发现，尽管嵌套丢弃最初被提出用于实现快速信息检索和自适应数据压缩，但它同样能够有效对神经网络进行正则化，从而缓解标签噪声带来的负面影响。此外，由于其结构简单，嵌套丢弃可轻松与Co-teaching方法结合，进一步提升模型性能。我们提出的最终模型结构简洁但效果显著：在两个存在标签噪声的真实世界数据集——Clothing1M和ANIMAL-10N上，其性能达到或超过当前最先进方法。在Clothing1M数据集上，我们的方法取得了74.9%的准确率，略高于DivideMix的性能；在ANIMAL-10N数据集上，准确率达到84.1%，优于目前公开的最佳结果（PLC方法为83.4%）。我们希望这一简单而有效的方案能成为未来标签噪声学习任务中的强有力基线方法。相关代码已开源，可访问 https://github.com/yingyichen-cyy/Nested-Co-teaching 获取。