3 个月前

通过高效转移矩阵估计实现带噪声标签的学习以对抗标签误修正

通过高效转移矩阵估计实现带噪声标签的学习以对抗标签误修正

摘要

近期关于噪声标签学习的研究表明,利用少量干净数据集可显著提升模型性能。特别是基于模型无关元学习(model-agnostic meta-learning)的标签修正方法,能够在训练过程中动态修正噪声标签,进一步提升性能。然而,此类方法缺乏对标签误修正的有效防护机制,导致不可避免的性能下降。此外,每个训练步骤至少需要三次反向传播,严重拖慢了训练速度。为缓解上述问题,本文提出一种鲁棒且高效的动态学习标签转移矩阵的方法。通过引入标签转移矩阵,使分类器对所有经修正的样本保持审慎态度,从而有效缓解误修正问题。同时,我们设计了一种双头(two-head)网络结构,可在单次反向传播中高效估计每轮迭代的标签转移矩阵,使估计结果能够紧密追踪由标签修正所引起的噪声分布变化。大量实验结果表明,所提方法在训练效率方面表现最优,同时在准确率上与现有方法相当甚至更优,展现出卓越的综合性能。

代码仓库

hyperconnect/fasten
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
image-classification-on-clothing1m-usingFasTEN
Accuracy: 77.83%

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供