摘要

近期的深度神经网络即使在标签完全随机的情况下也能记忆整个数据集。为了克服因标签损坏而导致的过拟合问题，我们提出了一种新的技术，即学习另一个神经网络——称为MentorNet——来监督基础深度网络（StudentNet）的训练。在训练过程中，MentorNet为StudentNet提供了一个课程（样本加权方案），使其能够专注于那些可能正确的标签样本。与现有的通常由人类专家预先定义的课程不同，MentorNet能够与StudentNet动态地学习一个数据驱动的课程。实验结果表明，我们的方法可以显著提高在损坏训练数据上训练的深度网络的泛化性能。值得注意的是，据我们所知，我们在WebVision这一包含220万张带有现实噪声标签图像的大规模基准测试中取得了最佳已发表的结果。代码位于https://github.com/google/mentornet