3 个月前

长尾识别中的校准优化

长尾识别中的校准优化

摘要

当训练数据集存在严重类别不平衡时,深度神经网络的性能往往表现不佳。近期,两类阶段(two-stage)方法通过解耦表示学习与分类器学习,有效提升了模型性能。然而,此类方法仍面临校准(calibration)不足的关键问题。为解决该问题,我们设计了两种新方法,以提升在类别不平衡场景下的校准能力与整体性能。基于类别预测概率分布与各类别样本数量高度相关的观察,我们提出标签感知平滑(label-aware smoothing)策略,以应对不同类别存在的不同程度过度自信问题,从而优化分类器的学习过程。针对解耦框架中因采样策略差异导致的两个阶段间数据分布偏移问题,我们进一步提出偏移批量归一化(shifted batch normalization),有效缓解了这一偏差。所提出的两种方法在多个主流长尾识别基准数据集上取得了新的性能记录,涵盖CIFAR-10-LT、CIFAR-100-LT、ImageNet-LT、Places-LT以及iNaturalist 2018。相关代码将公开于:https://github.com/Jia-Research-Lab/MiSLAS。

代码仓库

dvlab-research/imbalanced-learning
pytorch
GitHub 中提及
Jia-Research-Lab/MiSLAS
官方
pytorch
GitHub 中提及
dvlab-research/MiSLAS
pytorch
GitHub 中提及
dvlab-research/rescom
pytorch
GitHub 中提及
simonustc/imbalance_ppl_cri
pytorch
GitHub 中提及

基准测试

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
长尾识别中的校准优化 | 论文 | HyperAI超神经