
摘要
分布外(Out-of-Distribution, OOD)检测是将机器学习模型部署于开放世界环境中的关键任务。基于距离的方法展现出良好的前景:若测试样本与分布内(In-Distribution, ID)数据在特征空间中相对距离较远,则被判定为分布外样本。然而,以往方法通常对潜在特征空间施加较强的分布假设,这些假设在实际中未必成立。本文探讨了非参数化最近邻距离在OOD检测中的有效性,这一方法在现有文献中长期被忽视。与先前工作不同,我们的方法不依赖任何分布假设,因而具备更强的灵活性与通用性。我们在多个基准数据集上验证了基于最近邻的OOD检测方法的有效性,并取得了优于现有方法的性能表现。在相同ImageNet-1k模型训练条件下,相较于采用参数化方法(马氏距离)的强基准方法SSD+,我们的方法将FPR@TPR95(即在95%真正例率下的假正例率)显著降低了24.77%。代码已开源:https://github.com/deeplearning-wisc/knn-ood。
代码仓库
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| out-of-distribution-detection-on-imagenet-1k-10 | KNN (ResNet-50 SupCon) | AUROC: 94.45 FPR95: 16.97 |
| out-of-distribution-detection-on-imagenet-1k-10 | KNN (ResNet-50) | AUROC: 97.18 FPR95: 11.56 |
| out-of-distribution-detection-on-imagenet-1k-3 | KNN (ResNet-50 SupCon) | AUROC: 94.72 FPR95: 30.83 |
| out-of-distribution-detection-on-imagenet-1k-3 | KNN (ResNet-50) | AUROC: 86.2 FPR95: 59.08 |
| out-of-distribution-detection-on-imagenet-1k-8 | KNN (ResNet-50 SupCon) | AUROC: 88.40 FPR95: 48.91 |
| out-of-distribution-detection-on-imagenet-1k-8 | KNN (ResNet-50) | AUROC: 80.10 FPR95: 69.53 |
| out-of-distribution-detection-on-imagenet-1k-9 | KNN (ResNet-50) | AUROC: 74.87 FPR95: 77.09 |
| out-of-distribution-detection-on-imagenet-1k-9 | KNN (ResNet-50 SupCon) | AUROC: 84.62 FPR95: 60.02 |