摘要

本文提出了一种参数化对比学习（Parametric Contrastive Learning, PaCo），以应对长尾识别问题。基于理论分析，我们发现监督对比损失倾向于偏向高频类别，从而加剧了数据不平衡学习的难度。为此，我们引入一组可学习的类别专属参数化中心，从优化角度实现类别平衡。进一步地，我们在类别平衡的设定下分析了PaCo损失函数的性质。分析表明，随着同一类样本被更紧密地拉向其对应的中心，PaCo能够自适应地增强同类样本之间的聚集强度，从而有效促进困难样本的学习。在长尾CIFAR、ImageNet、Places以及iNaturalist 2018数据集上的实验结果表明，PaCo达到了长尾识别任务的新SOTA（state-of-the-art）性能。在完整的ImageNet数据集上，使用PaCo损失训练的模型在多种ResNet骨干网络下均超越了监督对比学习方法，例如，我们的ResNet-200模型取得了81.8%的top-1准确率。相关代码已开源，地址为：https://github.com/dvlab-research/Parametric-Contrastive-Learning。