3 个月前

训练时间的扩展与事后分布外检测性能增强

训练时间的扩展与事后分布外检测性能增强

摘要

现代深度学习系统判断某一样本是否属于其知识范围的能力至关重要且具有根本意义。本文深入探讨并分析了当前最先进的分布外(Out-of-Distribution, OOD)检测方法——极简激活形态调整(Activation Shaping, ASH)。我们发现,激活剪枝(activation pruning)会显著损害OOD检测性能,而激活缩放(activation scaling)则能有效提升检测效果。为此,我们提出SCALE——一种简单而高效的后处理网络增强方法,可在不牺牲分布内(In-Distribution, ID)准确率的前提下,实现当前最优的OOD检测性能。通过在训练过程中引入缩放机制以捕捉样本的ID特征,我们进一步提出中间张量形态调整(Intermediate Tensor Shaping, ISH),这是一种轻量级的训练阶段OOD检测增强方法。在OpenOOD v1.5 ImageNet-1K基准测试中,我们的方法在近分布外(near-OOD)和远分布外(far-OOD)数据集上分别实现了AUROC分数提升+1.85%和+0.74%。相关代码与模型已开源,地址为:https://github.com/kai422/SCALE。

代码仓库

kai422/scale
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
out-of-distribution-detection-on-far-oodSCALE (ResNet50)
AUROC: 96.53
FPR@95: 16.53
ID ACC: 76.18
out-of-distribution-detection-on-far-oodISH (ResNet50)
AUROC: 96.79
FPR@95: 15.62
ID ACC: 76.74
out-of-distribution-detection-on-imagenet-1k-10SCALE (ResNet50)
AUROC: 97.37
FPR95: 12.93
Latency, ms: 11.27
out-of-distribution-detection-on-imagenet-1k-12SCALE (ResNet50)
AUROC: 95.71
FPR95: 20.05
out-of-distribution-detection-on-imagenet-1k-3SCALE (ResNet50)
AUROC: 98.17
FPR95: 9.5
Latency, ms: 11.27
out-of-distribution-detection-on-imagenet-1k-8SCALE (ResNet50)
AUROC: 95.02
FPR95: 23.27
out-of-distribution-detection-on-imagenet-1k-9SCALE (ResNet50)
AUROC: 92.26
FPR95: 34.51
out-of-distribution-detection-on-near-oodSCALE (ResNet50)
AUROC: 81.36
FPR@95: 59.76
ID ACC: 76.18
out-of-distribution-detection-on-near-oodISH (ResNet50)
AUROC: 84.01
FPR@95: 55.73
ID ACC: 76.74

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
训练时间的扩展与事后分布外检测性能增强 | 论文 | HyperAI超神经