摘要

检测测试样本是否在统计上或对抗性地远离训练分布，是许多现实世界机器学习应用中部署良好分类器的基本要求。然而，带有softmax分类器的深度神经网络即使对于这些异常样本也会产生高度自信的后验概率分布。本文提出了一种简单而有效的方法，用于检测任何异常样本，该方法适用于任何预训练的softmax神经分类器。我们通过高斯判别分析获得了深度模型（低级和高级）特征的类条件高斯分布，从而基于马氏距离生成了一个置信度评分。大多数先前的方法仅评估了检测离群分布样本或对抗性样本的能力，但未能同时评估两者。而在我们的实验中，所提出的方法在这两方面均达到了最先进的性能。此外，我们发现所提出的方法在恶劣情况下更加稳健，例如当训练数据集包含噪声标签或样本数量较少时。最后，我们展示了该方法具有更广泛的应用前景，将其应用于类别增量学习：每当检测到离群分布样本时，我们的分类规则可以在无需进一步训练深度模型的情况下很好地融入新类别。