HyperAIHyperAI

Command Palette

Search for a command to run...

通过一致性来对抗噪声标签:一种具有协同正则化的联合训练方法

Hongxin Wei Lei Feng Xiangyu Chen Bo An

摘要

带有噪声标签的深度学习是弱监督学习中一个具有实际挑战性的问题。当前最先进的方法——“解耦(Decoupling)”与“Co-teaching+”均认为,“分歧(disagreement)”策略对于缓解噪声标签学习问题至关重要。本文从一个不同的视角出发,提出了一种名为JoCoR的鲁棒学习范式,旨在训练过程中降低两个网络之间的差异性。具体而言,我们首先利用两个网络对同一小批量数据进行预测,并为每个训练样本计算一个联合损失(joint loss),该损失基于协同正则化(Co-Regularization)机制。随后,我们选择损失值较小的样本,同时更新两个网络的参数。由于协同正则化的作用,这两个网络在联合损失的驱动下,训练过程中会逐渐趋于相似。在MNIST、CIFAR-10、CIFAR-100以及Clothing1M等基准数据集上经过标签污染的实验结果表明,JoCoR在噪声标签学习任务中显著优于多种当前最先进的方法。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供