3 个月前

基于深度最近邻的分布外检测

基于深度最近邻的分布外检测

摘要

分布外(Out-of-Distribution, OOD)检测是将机器学习模型部署于开放世界环境中的关键任务。基于距离的方法展现出良好的前景:若测试样本与分布内(In-Distribution, ID)数据在特征空间中相对距离较远,则被判定为分布外样本。然而,以往方法通常对潜在特征空间施加较强的分布假设,这些假设在实际中未必成立。本文探讨了非参数化最近邻距离在OOD检测中的有效性,这一方法在现有文献中长期被忽视。与先前工作不同,我们的方法不依赖任何分布假设,因而具备更强的灵活性与通用性。我们在多个基准数据集上验证了基于最近邻的OOD检测方法的有效性,并取得了优于现有方法的性能表现。在相同ImageNet-1k模型训练条件下,相较于采用参数化方法(马氏距离)的强基准方法SSD+,我们的方法将FPR@TPR95(即在95%真正例率下的假正例率)显著降低了24.77%。代码已开源:https://github.com/deeplearning-wisc/knn-ood。

代码仓库

deeplearning-wisc/knn-ood
官方
pytorch
GitHub 中提及
ArthurHoa/deep-eknn
pytorch
GitHub 中提及

基准测试

基准方法指标
out-of-distribution-detection-on-imagenet-1k-10KNN (ResNet-50 SupCon)
AUROC: 94.45
FPR95: 16.97
out-of-distribution-detection-on-imagenet-1k-10KNN (ResNet-50)
AUROC: 97.18
FPR95: 11.56
out-of-distribution-detection-on-imagenet-1k-3KNN (ResNet-50 SupCon)
AUROC: 94.72
FPR95: 30.83
out-of-distribution-detection-on-imagenet-1k-3KNN (ResNet-50)
AUROC: 86.2
FPR95: 59.08
out-of-distribution-detection-on-imagenet-1k-8KNN (ResNet-50 SupCon)
AUROC: 88.40
FPR95: 48.91
out-of-distribution-detection-on-imagenet-1k-8KNN (ResNet-50)
AUROC: 80.10
FPR95: 69.53
out-of-distribution-detection-on-imagenet-1k-9KNN (ResNet-50)
AUROC: 74.87
FPR95: 77.09
out-of-distribution-detection-on-imagenet-1k-9KNN (ResNet-50 SupCon)
AUROC: 84.62
FPR95: 60.02

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于深度最近邻的分布外检测 | 论文 | HyperAI超神经