HyperAIHyperAI

Command Palette

Search for a command to run...

参数化对比学习

Jiequan Cui Zhisheng Zhong Shu Liu Bei Yu Jiaya Jia

摘要

本文提出了一种参数化对比学习(Parametric Contrastive Learning, PaCo),以应对长尾识别问题。基于理论分析,我们发现监督对比损失倾向于偏向高频类别,从而加剧了数据不平衡学习的难度。为此,我们引入一组可学习的类别专属参数化中心,从优化角度实现类别平衡。进一步地,我们在类别平衡的设定下分析了PaCo损失函数的性质。分析表明,随着同一类样本被更紧密地拉向其对应的中心,PaCo能够自适应地增强同类样本之间的聚集强度,从而有效促进困难样本的学习。在长尾CIFAR、ImageNet、Places以及iNaturalist 2018数据集上的实验结果表明,PaCo达到了长尾识别任务的新SOTA(state-of-the-art)性能。在完整的ImageNet数据集上,使用PaCo损失训练的模型在多种ResNet骨干网络下均超越了监督对比学习方法,例如,我们的ResNet-200模型取得了81.8%的top-1准确率。相关代码已开源,地址为:https://github.com/dvlab-research/Parametric-Contrastive-Learning


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
参数化对比学习 | 论文 | HyperAI超神经