
摘要
我们研究了两个相关的问题:检测样本是否被错误分类或属于分布外数据。本文提出了一种简单的基线方法,该方法利用了softmax分布的概率。正确分类的样本通常具有比错误分类和分布外样本更高的最大softmax概率,从而可以实现它们的检测。我们通过定义计算机视觉、自然语言处理和自动语音识别领域的若干任务来评估性能,展示了这一基线方法在所有领域的有效性。此外,我们还表明,有时该基线方法可以被超越,这为未来在这类尚未充分探索的检测任务上的研究提供了空间。
代码仓库
dabsdamoon/MNIST-Auxiliary-Decoder
GitHub 中提及
sooonwoo/RotNet-OOD
pytorch
GitHub 中提及
oliverzhang42/ood_medical_images
pytorch
GitHub 中提及
2sang/OOD-baseline
tf
GitHub 中提及
thuiar/textoir-demo
pytorch
GitHub 中提及
kingjamessong/rankfeat
pytorch
GitHub 中提及
guyAmit/GLOD
pytorch
GitHub 中提及
JakobCode/UncertaintyInNeuralNetworks_Resources
pytorch
GitHub 中提及
thuiar/textoir
pytorch
GitHub 中提及
lancopku/avg-avg
pytorch
GitHub 中提及
drumpt/RotNet-OOD
pytorch
GitHub 中提及
hendrycks/error-detection
官方
tf
GitHub 中提及
zjysteven/mixoe
pytorch
GitHub 中提及
kobybibas/pnml_ood_detection
pytorch
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| out-of-distribution-detection-on-cifar-10-vs | WRN 40-2 (MSP Baseline) | AUPR: 55.8 AUROC: 87.9 |