摘要

分布外（Out-of-Distribution, OOD）检测对于安全地将机器学习模型部署于真实场景中至关重要。其中一个核心挑战在于，模型在面对未知数据时缺乏监督信号，因而容易对OOD数据产生过度自信的预测结果。近期的异常样本合成方法将特征空间建模为参数化的高斯分布，这一假设虽形式简洁，但过于强且限制性强，可能与真实数据分布不符。本文提出一种新型框架——非参数化异常样本合成（Non-Parametric Outlier Synthesis, NPOS），通过生成人工的OOD训练数据，帮助模型学习到更可靠的ID（分布内）与OOD数据之间的决策边界。尤为重要的是，我们提出的合成方法不依赖于ID嵌入的任何分布假设，因而具备极强的灵活性与泛化能力。我们进一步从数学上证明，该合成方法可被解释为一种拒绝采样（rejection sampling）框架。大量实验结果表明，NPOS在OOD检测任务中表现优异，显著优于现有主流方法。代码已公开，可访问 https://github.com/deeplearning-wisc/npos 获取。