HyperAIHyperAI

Command Palette

Search for a command to run...

基于潜在特征与真实标签之间互信息最大化的长尾识别

Min-Kook Suh Seung-Woo Seo

摘要

尽管对比学习方法在多种表示学习任务中表现出卓越性能,但在训练数据呈现长尾分布时仍面临挑战。许多研究者尝试将对比学习与logit调整技术相结合以应对这一问题,但这些结合方式多为经验性设计,缺乏理论支撑。本文旨在提供理论基础,并进一步提升模型性能。首先,我们指出对比学习方法在处理长尾任务时遭遇困难的根本原因在于:其试图最大化隐含特征与输入数据之间的互信息。由于该优化过程未考虑真实标签信息,因而无法有效缓解类别标签之间的不平衡问题。相反,我们提出将长尾识别任务重新诠释为隐含特征与真实标签之间互信息的最大化。这一新视角使对比学习与logit调整得以自然融合,从而推导出一种新型损失函数,在长尾识别基准测试中取得了当前最优性能。此外,该方法在图像分割任务中也展现出显著效果,验证了其在图像分类之外的广泛应用潜力。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于潜在特征与真实标签之间互信息最大化的长尾识别 | 论文 | HyperAI超神经