摘要

机器学习模型在训练与部署阶段之间的分离，意味着在训练过程中无法预知部署阶段可能遇到的所有场景，因此仅依赖训练阶段的改进存在其局限性。分布外（Out-of-Distribution, OOD）检测是一个关键研究方向，用于检验模型在面对未知情况时的应对能力：模型是否能识别出自己“不知道”的情形？现有的OOD检测方法通常需要额外的训练步骤、引入额外数据，或对已训练网络进行显著修改。相比之下，本文提出一种极为简单、后置式（post-hoc）、实时执行的激活重塑方法——ASH（Activation Shaping at Inference）。该方法在推理阶段对深层特征激活进行处理：移除样本在某一深层中约90%的激活值，仅保留剩余约10%的激活，并对其进行简化或轻微调整。该重塑操作在推理时动态执行，无需依赖训练数据中计算出的任何统计信息。实验结果表明，这种简单的处理方式显著增强了模型对分布内（in-distribution）与分布外样本的区分能力，实现了在ImageNet数据集上的最先进OOD检测性能，同时对分布内准确率几乎不造成明显损害。相关视频、动画及代码已发布于：https://andrijazz.github.io/ash