
摘要
在真实世界中安全部署机器学习模型时,检测分布外(Out-of-Distribution, OOD)输入是一个核心挑战。以往的方法通常依赖于从过参数化权重空间中提取的OOD评分,却在很大程度上忽视了稀疏化(sparsification)的作用。本文揭示了关键洞见:对无关紧要的权重和神经元的依赖,会直接导致OOD检测机制的脆弱性。为缓解这一问题,我们提出一种基于稀疏化的OOD检测框架,命名为DICE(Distribution-Informed, Contribution-based, and pruned Evaluation)。其核心思想是基于权重的贡献度进行排序,并仅选择最具显著性的权重来生成输出,用于OOD检测。我们从实验和理论两个层面提供了深入分析,系统刻画并解释了DICE提升OOD检测性能的内在机制。通过剔除噪声信号,DICE可严格证明降低OOD数据的输出方差,从而形成更尖锐的输出分布,增强其与分布内(In-Distribution, ID)数据之间的可分性。我们在多个基准测试上验证了基于稀疏化的OOD检测方法的有效性,并取得了具有竞争力的性能表现。
代码仓库
deeplearning-wisc/dice
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| out-of-distribution-detection-on-imagenet-1k-10 | DICE + ReAct (ResNet-50) | AUROC: 92.74 FPR95: 28.07 |
| out-of-distribution-detection-on-imagenet-1k-10 | DICE (ResNet-50) | AUROC: 90.3 FPR95: 31.72 |
| out-of-distribution-detection-on-imagenet-1k-12 | DICE + ReAct (ResNet-50) | AUROC: 93.4 FPR95: 27.25 |
| out-of-distribution-detection-on-imagenet-1k-3 | DICE + ReAct (ResNet-50) | AUROC: 96.24 FPR95: 18.64 |
| out-of-distribution-detection-on-imagenet-1k-8 | DICE + ReAct (ResNet-50) | AUROC: 93.94 FPR95: 25.45 |
| out-of-distribution-detection-on-imagenet-1k-8 | DICE (ResNet-50) | AUROC: 90.83 FPR95: 35.15 |
| out-of-distribution-detection-on-imagenet-1k-9 | DICE (ResNet-50) | AUROC: 87.48 FPR95: 46.49 |
| out-of-distribution-detection-on-imagenet-1k-9 | DICE + ReAct (ResNet-50) | AUROC: 90.67 FPR95: 36.86 |