3 个月前

MOS:面向大规模语义空间的分布外检测扩展

MOS:面向大规模语义空间的分布外检测扩展

摘要

在现实世界中安全部署机器学习模型时,检测分布外(Out-of-Distribution, OOD)输入是一个核心挑战。现有的解决方案主要基于小规模数据集,其图像分辨率较低且类别标签极少(如CIFAR数据集),导致大规模图像分类任务中的OOD检测研究仍处于空白状态。本文通过提出一种基于分组的OOD检测框架,以及一种新型的OOD评分函数——MOS(Mean-of-Similarity),有效填补了这一关键空白。我们的核心思想是将庞大的语义空间分解为若干语义相近的小型概念组,从而简化分布内与分布外数据之间的决策边界,实现更高效的OOD检测。与以往方法相比,本方法在高维类别空间中展现出显著更优的可扩展性。我们在ImageNet训练的模型上,针对四个精心构建的、涵盖多样语义的OOD数据集进行了评估。实验结果表明,MOS方法达到了当前最优性能,相较于此前最佳方法,平均FPR95(即在95%检测率下的误报率)降低了14.33%,同时推理速度提升6倍。

代码仓库

tmlr-group/neglabel
pytorch
GitHub 中提及
deeplearning-wisc/gradnorm_ood
pytorch
GitHub 中提及
deeplearning-wisc/large_scale_ood
官方
pytorch
GitHub 中提及
tmlr-group/class_prior
pytorch
GitHub 中提及
ma-kjh/CMA-OoDD
pytorch
GitHub 中提及

基准测试

基准方法指标
out-of-distribution-detection-on-imagenet-1k-10MOS (BiT-S-R101x1)
AUROC: 81.23
FPR95: 60.43
out-of-distribution-detection-on-imagenet-1k-12MOS (BiT-S-R101x1)
AUROC: 90.11
FPR95: 39.97
out-of-distribution-detection-on-imagenet-1k-3MOS (BiT-S-R101x1)
AUROC: 98.15
FPR95: 9.28
out-of-distribution-detection-on-imagenet-1k-8MOS (BiT-S-R101x1)
AUROC: 92.01
FPR95: 40.63
out-of-distribution-detection-on-imagenet-1k-9MOS (BiT-S-R101x1)
AUROC: 89.06
FPR95: 49.54

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
MOS:面向大规模语义空间的分布外检测扩展 | 论文 | HyperAI超神经