HyperAIHyperAI

Command Palette

Search for a command to run...

带噪声标签的孪生对比学习

Zhizhong Huang Junping Zhang Hongming Shan

摘要

从含噪声数据中学习是一项极具挑战性的任务,会显著降低模型的性能。本文提出了一种新型的双对比学习模型——TCL(Twin Contrastive Learning),用于学习鲁棒的特征表示并有效处理分类任务中的噪声标签。具体而言,我们通过将监督模型的预测结果注入高斯混合模型(GMM),构建了基于表示的GMM,从而将GMM中的无标签隐变量与存在噪声的标签注释建立关联。随后,TCL利用另一个双成分GMM,结合数据分布特性,将标签错误的样本识别为分布外(out-of-distribution)样本。为进一步提升对噪声标签的处理能力,我们提出了一种交叉监督机制,并引入熵正则化损失函数,通过模型预测自举生成真实目标标签。由此,TCL能够通过Mixup与对比学习相结合的方式,学习到与估计标签对齐的判别性表示。在多个标准基准数据集及真实世界数据集上的大量实验结果表明,TCL具有卓越的性能表现。特别是在CIFAR-10数据集上,当标签噪声率达90%(极端噪声场景)时,TCL取得了7.5%的性能提升。项目源代码已开源,地址为:\url{https://github.com/Hzzone/TCL}


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供