4 个月前

带有置信度控制的异常样本暴露用于检测分布外样本

带有置信度控制的异常样本暴露用于检测分布外样本

摘要

近年来,深度神经网络在分类任务中取得了巨大成功。然而,通向人工智能的一个主要问题是神经网络无法准确检测来自新类别分布的样本,因此现有的大多数分类算法都假设所有类别在训练阶段之前都是已知的。在这项工作中,我们提出了一种训练神经网络的方法,该方法能够在不大幅牺牲已知类别测试样本分类准确性的情况下,高效地检测出分布外(OOD)样本。我们设计了一种新的损失函数,从而引出了一个新方法——置信度控制异常暴露(OECC),该方法在图像和文本分类任务中均能实现卓越的OOD检测效果,而无需访问OOD样本。此外,通过实验我们还证明了将OECC与最先进的后训练OOD检测方法(如马氏距离检测器(Mahalanobis Detector, MD)和格拉米矩阵(Gramian Matrices, GM)方法)结合使用时,可以进一步提升这些方法在OOD检测任务中的性能,展示了将训练和后训练方法相结合用于OOD检测的潜力。

代码仓库

nazim1021/OOD-detection-using-OECC
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
out-of-distribution-detection-on-202-layer GRUs + OECC
AUROC: 99.18
out-of-distribution-detection-on-cifar-10ResNet 34 + OECC+GM
AUROC: 99.7
out-of-distribution-detection-on-cifar-10-vsWide 40-2 + OECC
AUPR: 82.0
AUROC: 94.9
out-of-distribution-detection-on-cifar-100WRN 40-2 + OECC
FPR95: 28.89
out-of-distribution-detection-on-cifar-100-vsWRN 40-2 + OECC
AUPR: 35.2
AUROC: 78.7
out-of-distribution-detection-on-cifar-100-vs-8OECC + MD
AUROC: 98.7
out-of-distribution-detection-on-imagenetResNet 34 + OE
AUROC: 92.5
out-of-distribution-detection-on-ms-1m-vs-ijbResNeXt 50 + OE
AUROC: 52.6

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
带有置信度控制的异常样本暴露用于检测分布外样本 | 论文 | HyperAI超神经