4 个月前

用于检测神经网络中误分类和分布外样本的基线方法

用于检测神经网络中误分类和分布外样本的基线方法

摘要

我们研究了两个相关的问题:检测样本是否被错误分类或属于分布外数据。本文提出了一种简单的基线方法,该方法利用了softmax分布的概率。正确分类的样本通常具有比错误分类和分布外样本更高的最大softmax概率,从而可以实现它们的检测。我们通过定义计算机视觉、自然语言处理和自动语音识别领域的若干任务来评估性能,展示了这一基线方法在所有领域的有效性。此外,我们还表明,有时该基线方法可以被超越,这为未来在这类尚未充分探索的检测任务上的研究提供了空间。

代码仓库

sooonwoo/RotNet-OOD
pytorch
GitHub 中提及
oliverzhang42/ood_medical_images
pytorch
GitHub 中提及
2sang/OOD-baseline
tf
GitHub 中提及
thuiar/textoir-demo
pytorch
GitHub 中提及
kingjamessong/rankfeat
pytorch
GitHub 中提及
guyAmit/GLOD
pytorch
GitHub 中提及
thuiar/textoir
pytorch
GitHub 中提及
lancopku/avg-avg
pytorch
GitHub 中提及
drumpt/RotNet-OOD
pytorch
GitHub 中提及
hendrycks/error-detection
官方
tf
GitHub 中提及
zjysteven/mixoe
pytorch
GitHub 中提及

基准测试

基准方法指标
out-of-distribution-detection-on-cifar-10-vsWRN 40-2 (MSP Baseline)
AUPR: 55.8
AUROC: 87.9

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
用于检测神经网络中误分类和分布外样本的基线方法 | 论文 | HyperAI超神经