3 个月前

基于类别平衡策略的跨模态合并训练用于噪声标签学习

基于类别平衡策略的跨模态合并训练用于噪声标签学习

摘要

大规模数据集的构建不可避免地引入了噪声标签,导致深度神经网络(DNN)的性能显著下降。尽管样本选择是当前噪声标签学习领域中的主流方法,旨在通过在模型训练过程中减轻噪声标签的影响,但此类方法在不同噪声率和噪声类型下的测试性能表现出显著波动。为此,本文提出了一种名为“交叉融合训练”(Cross-to-Merge Training, C2MT)的新框架,该框架在样本选择过程中对先验信息不敏感,从而提升了模型的鲁棒性。在实际实现中,C2MT采用交叉划分的训练数据,利用协同教学(co-teaching)策略对两个不同的网络进行多轮局部交叉训练,并通过周期性地对两个模型的参数执行联邦平均(federated averaging)操作,将二者融合为一个统一模型。此外,我们在数据交叉划分过程中引入了一种新的类别平衡策略——中位数平衡策略(Median Balance Strategy, MBS),该策略基于估计的损失分布特征,将训练数据均衡地划分为带标签子集与无标签子集。在合成数据集与真实世界数据集上的大量实验结果表明,C2MT具有优异的性能表现。代码将公开发布于:https://github.com/LanXiaoPang613/C2MT。

基准测试

基准方法指标
image-classification-on-clothing1mC2MT
Accuracy: 74.61%
learning-with-noisy-labels-on-animalC2MT
Accuracy: 85.9
ImageNet Pretrained: NO
Network: Vgg-19-BN
learning-with-noisy-labels-on-clothing1mC2MT
Test Accuracy: 74.61

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于类别平衡策略的跨模态合并训练用于噪声标签学习 | 论文 | HyperAI超神经