摘要

单类异常检测旨在识别不符合预期正常模式的异常实例。本文采用基于编码器-解码器-编码器架构的生成对抗网络（GANs）进行异常检测，并取得了当前最优的性能表现。然而，深度神经网络通常参数量过大，难以在资源受限的设备上部署。为此，本文提出了一种基于GAN的渐进式知识蒸馏方法（Progressive Knowledge Distillation with GANs, PKDGAN），以学习紧凑且高效的异常检测网络。PKDGAN是一种创新性的尝试，通过设计特定的知识蒸馏损失函数，将两个标准GAN模型连接起来，实现从教师网络到学生网络的知识迁移。该方法采用两阶段渐进式知识蒸馏策略，持续提升学生GAN的性能，相较单步蒸馏方法具有更优的性能表现。在第一阶段，学生GAN在预训练教师GAN（权重固定）的引导下，完全学习教师网络的基本知识；在第二阶段，采用联合微调策略对具备知识的教师网络与学生网络进行协同优化，进一步提升模型性能与稳定性。在CIFAR-10、MNIST和FMNIST数据集上的实验结果表明，当计算量压缩比分别达到24.45:1、311.11:1和700:1时，本文方法使学生GAN的性能分别提升了2.44%、1.77%和1.73%，验证了该方法在高效性与准确性之间的良好平衡。