摘要

研究表明，深度神经网络在存在偏差的训练数据上容易发生过拟合。为应对这一问题，元学习（meta-learning）方法通过引入元模型来校正训练偏差。尽管该方法展现出良好的性能，但当前元学习面临的瓶颈在于训练速度极为缓慢。本文提出一种新型的快速元更新策略（Faster Meta Update Strategy, FaMUS），通过采用一种更快速的逐层近似方法，替代元梯度计算中最耗时的步骤。实验结果表明，FaMUS不仅能够提供精度合理且方差较低的元梯度近似，还显著提升了训练效率。我们在两个任务上进行了大量实验验证，结果表明，所提方法在保持相当甚至更优泛化性能的同时，可节省约三分之二的训练时间。特别地，该方法在合成噪声标签和真实场景噪声标签任务上均达到了当前最优性能，并在标准基准数据集上的长尾识别任务中展现出良好的表现。