摘要
尽管对比学习方法在多种表示学习任务中表现出卓越性能，但在训练数据呈现长尾分布时仍面临挑战。许多研究者尝试将对比学习与logit调整技术相结合以应对这一问题，但这些结合方式多为经验性设计，缺乏理论支撑。本文旨在提供理论基础，并进一步提升模型性能。首先，我们指出对比学习方法在处理长尾任务时遭遇困难的根本原因在于：其试图最大化隐含特征与输入数据之间的互信息。由于该优化过程未考虑真实标签信息，因而无法有效缓解类别标签之间的不平衡问题。相反，我们提出将长尾识别任务重新诠释为隐含特征与真实标签之间互信息的最大化。这一新视角使对比学习与logit调整得以自然融合，从而推导出一种新型损失函数，在长尾识别基准测试中取得了当前最优性能。此外，该方法在图像分割任务中也展现出显著效果，验证了其在图像分类之外的广泛应用潜力。
代码仓库
bluecdm/Long-tailed-recognition
官方
pytorch
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| long-tail-learning-on-cifar-100-lt-r-10 | GML (ResNet-32) | Error Rate: 33.0 |
| long-tail-learning-on-cifar-100-lt-r-100 | GML (ResNet-32) | Error Rate: 46.0 |
| long-tail-learning-on-cifar-100-lt-r-50 | GML (ResNet-32) | Error Rate: 41.9 |
| long-tail-learning-on-imagenet-lt | GML (ResNeXt-50) | Top-1 Accuracy: 58.8 |
| long-tail-learning-on-inaturalist-2018 | GML (ViT-B-16) | Top-1 Accuracy: 82.1% |
| long-tail-learning-on-inaturalist-2018 | GML (ResNet-50) | Top-1 Accuracy: 74.5% |