
摘要
在现实世界中安全部署机器学习模型时,检测分布外(Out-of-Distribution, OOD)输入是一个核心挑战。现有的解决方案主要基于小规模数据集,其图像分辨率较低且类别标签极少(如CIFAR数据集),导致大规模图像分类任务中的OOD检测研究仍处于空白状态。本文通过提出一种基于分组的OOD检测框架,以及一种新型的OOD评分函数——MOS(Mean-of-Similarity),有效填补了这一关键空白。我们的核心思想是将庞大的语义空间分解为若干语义相近的小型概念组,从而简化分布内与分布外数据之间的决策边界,实现更高效的OOD检测。与以往方法相比,本方法在高维类别空间中展现出显著更优的可扩展性。我们在ImageNet训练的模型上,针对四个精心构建的、涵盖多样语义的OOD数据集进行了评估。实验结果表明,MOS方法达到了当前最优性能,相较于此前最佳方法,平均FPR95(即在95%检测率下的误报率)降低了14.33%,同时推理速度提升6倍。
代码仓库
tmlr-group/neglabel
pytorch
GitHub 中提及
deeplearning-wisc/gradnorm_ood
pytorch
GitHub 中提及
deeplearning-wisc/large_scale_ood
官方
pytorch
GitHub 中提及
tmlr-group/class_prior
pytorch
GitHub 中提及
ma-kjh/CMA-OoDD
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| out-of-distribution-detection-on-imagenet-1k-10 | MOS (BiT-S-R101x1) | AUROC: 81.23 FPR95: 60.43 |
| out-of-distribution-detection-on-imagenet-1k-12 | MOS (BiT-S-R101x1) | AUROC: 90.11 FPR95: 39.97 |
| out-of-distribution-detection-on-imagenet-1k-3 | MOS (BiT-S-R101x1) | AUROC: 98.15 FPR95: 9.28 |
| out-of-distribution-detection-on-imagenet-1k-8 | MOS (BiT-S-R101x1) | AUROC: 92.01 FPR95: 40.63 |
| out-of-distribution-detection-on-imagenet-1k-9 | MOS (BiT-S-R101x1) | AUROC: 89.06 FPR95: 49.54 |