摘要

知识蒸馏（Knowledge Distillation, KD）在无监督异常检测（Unsupervised Anomaly Detection, AD）中得到了广泛研究。在该框架中，学生模型被假设为能够持续生成训练数据中典型模式的表征，即“正常性”表征，而教师模型与学生模型之间表征的差异则被识别为异常。然而，该方法面临“正常性遗忘”（normality forgetting）问题：尽管学生模型在无异常数据上进行训练，但仍能较好地重构异常样本的表征，并对正常数据中的细微模式保持高度敏感，而这些细微模式在训练过程中已出现。为缓解该问题，本文提出一种新型的记忆引导知识蒸馏（Memory-guided Knowledge Distillation, MemKD）框架，通过自适应调节学生模型特征的正常性来提升异常检测性能。具体而言，我们首先提出一种正常性回忆记忆（Normality Recall Memory, NR Memory），通过回溯存储的正常信息来增强学生模型生成特征的正常性。在此机制下，特征将不再表现出异常，且细微结构也能被充分刻画。随后，我们引入一种正常性嵌入学习策略，以促进NR Memory的信息学习能力。该策略构建了一个正常样本原型集，使NR Memory能够记忆无异常数据中的先验知识，并在后续查询特征中实现有效回溯。大量实验证明，所提出的MemKD框架在五个主流基准数据集上均取得了优异性能，包括MVTec AD、VisA、MPDD、MVTec 3D-AD以及Eyecandies。