3 个月前

基于最近邻的分布外检测

基于最近邻的分布外检测

摘要

在开放世界环境中部署的机器学习模型,检测分布外(Out-of-Distribution, OOD)样本至关重要。基于分类器的评分方法因其具备细粒度检测能力,已成为OOD检测的标准手段。然而,这类评分方法常存在过度自信问题,导致远离分布内(In-Distribution, ID)区域的OOD样本被错误分类。为应对这一挑战,本文提出一种名为最近邻引导(Nearest Neighbor Guidance, NNGuide)的方法,通过引导分类器评分尊重数据流形的边界几何结构,有效缓解OOD样本的过度自信问题,同时保持分类器评分原有的细粒度检测能力。我们在多种设置下,针对ImageNet OOD检测基准进行了大量实验,涵盖ID数据发生自然分布偏移的场景。实验结果表明,NNGuide显著提升了基础检测评分的性能,在AUROC、FPR95和AUPR三项指标上均达到当前最优水平。相关代码已公开,地址为:\url{https://github.com/roomo7time/nnguide}。

代码仓库

jingkang50/openood
官方
pytorch
GitHub 中提及
roomo7time/nnguide
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
out-of-distribution-detection-on-imagenet-1k-1NNGuide-ViM (ViT-B/16)
AUROC: 92.96
FPR95: 33.10
out-of-distribution-detection-on-imagenet-1k-10NNGuide (RegNet)
AUROC: 95.82
FPR95: 17.00
Latency, ms: 31.00
out-of-distribution-detection-on-imagenet-1k-10NNGuide (ResNet50 w/ ReAct)
AUROC: 96.11
FPR95: 17.27
Latency, ms: 11.10
out-of-distribution-detection-on-imagenet-1k-11NNGuide (ResNet50 w/ ReAct)
AUROC: 92.49
FPR95: 35.1
Latency, ms: 11.10
out-of-distribution-detection-on-imagenet-1k-11NNGuide (RegNet)
AUROC: 97.73
FPR95: 10.79
Latency, ms: 31.00
out-of-distribution-detection-on-imagenet-1k-12NNGuide (RegNet)
AUROC: 95.42
FPR95: 17.97
out-of-distribution-detection-on-imagenet-1k-12NNGuide (ResNet50 w/ ReAct)
AUROC: 95.45
FPR95: 19.72
out-of-distribution-detection-on-imagenet-1k-3NNGuide (ResNet50 w/ ReAct)
AUROC: 97.7
FPR95: 11.12
Latency, ms: 11.10
out-of-distribution-detection-on-imagenet-1k-3NNGuide (RegNet)
AUROC: 99.57
FPR95: 1.83
Latency, ms: 31.00
out-of-distribution-detection-on-imagenet-1k-8NNGuide (RegNet)
AUROC: 94.43
FPR95: 21.58
out-of-distribution-detection-on-imagenet-1k-9NNGuide (RegNet)
AUROC: 91.87
FPR95: 31.47

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于最近邻的分布外检测 | 论文 | HyperAI超神经