HyperAIHyperAI

Command Palette

Search for a command to run...

噪声鲁棒深度学习的快速元更新策略

Youjiang Xu Linchao Zhu Lu Jiang Yi Yang

摘要

研究表明,深度神经网络在存在偏差的训练数据上容易发生过拟合。为应对这一问题,元学习(meta-learning)方法通过引入元模型来校正训练偏差。尽管该方法展现出良好的性能,但当前元学习面临的瓶颈在于训练速度极为缓慢。本文提出一种新型的快速元更新策略(Faster Meta Update Strategy, FaMUS),通过采用一种更快速的逐层近似方法,替代元梯度计算中最耗时的步骤。实验结果表明,FaMUS不仅能够提供精度合理且方差较低的元梯度近似,还显著提升了训练效率。我们在两个任务上进行了大量实验验证,结果表明,所提方法在保持相当甚至更优泛化性能的同时,可节省约三分之二的训练时间。特别地,该方法在合成噪声标签和真实场景噪声标签任务上均达到了当前最优性能,并在标准基准数据集上的长尾识别任务中展现出良好的表现。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供