摘要

在现实世界中实现机器学习模型的安全部署，检测分布外（Out-of-Distribution, OOD）数据已成为关键环节。现有的OOD检测方法主要依赖模型输出或特征空间来构建OOD评分，而很大程度上忽略了梯度空间中蕴含的信息。本文提出一种简单且高效的方法——GradNorm，通过利用从梯度空间中提取的信息来检测OOD输入。GradNorm直接采用由softmax输出与均匀概率分布之间的KL散度反向传播所得梯度的向量范数作为判别依据。其核心思想在于：对于分布内（In-Distribution, ID）数据，梯度幅值通常大于分布外数据，因此该梯度范数具有显著的OOD检测判别能力。实验结果表明，GradNorm在性能上优于现有最佳方法，平均FPR95（即在95%检测率下的误报率）降低幅度最高达16.33%。