3 个月前

PANDA:面向异常检测与分割的预训练特征适配

PANDA:面向异常检测与分割的预训练特征适配

摘要

异常检测方法依赖于高质量的特征表示。近年来,异常检测领域尝试借助深度自监督特征学习的进展来获取更优的特征。然而,一个极具潜力的方向——使用预训练的深度特征——却在很大程度上被忽视了。本文首次通过实证研究验证了一个或许意料之中但此前未被报道的结果:将预训练特征与简单的异常检测及分割方法相结合,其性能显著优于许多结构更为复杂的当前最先进方法。为进一步提升异常检测的性能,我们对预训练特征进行了针对目标数据分布的适应性调整。尽管迁移学习方法在多分类任务中已相当成熟,但在单类分类(One-Class Classification, OCC)场景下仍缺乏充分探索。研究发现,那些在监督学习中表现良好的朴素适应方法,往往在OCC设置下导致灾难性崩溃(特征退化),从而降低整体性能。目前一种流行的OCC方法——DeepSVDD——主张采用专用网络架构,但这限制了适应过程所能带来的性能提升。为此,我们提出了两种对抗特征崩溃的方法:i)一种动态学习停止迭代次数的早停变体;ii)受持续学习启发的弹性正则化方法。所提出的PANDA方法在单类分类、异常暴露(outlier exposure)以及异常分割等任务中,均显著超越了当前最先进水平。

代码仓库

talreiss/PANDA
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
anomaly-detection-on-cats-and-dogsSelf-Supervised DeepSVDD
ROC AUC: 50.5
anomaly-detection-on-cats-and-dogsSelf-Supervised One-class SVM, RBF kernel
ROC AUC: 51.7
anomaly-detection-on-cats-and-dogsPANDA
ROC AUC: 97.3
anomaly-detection-on-cats-and-dogsPANDA-OE
ROC AUC: 94.5
anomaly-detection-on-diorSelf-Supervised One-class SVM, RBF kernel
ROC AUC: 70.7
anomaly-detection-on-diorPANDA
ROC AUC: 94.3
anomaly-detection-on-diorPANDA-OE
ROC AUC: 95.9
anomaly-detection-on-diorSelf-Supervised DeepSVDD
ROC AUC: 70
anomaly-detection-on-fashion-mnistSelf-Supervised DeepSVDD
ROC AUC: 84.8
anomaly-detection-on-fashion-mnistSelf-Supervised One-class SVM, RBF kernel
ROC AUC: 92.8
anomaly-detection-on-fashion-mnistPANDA-OE
ROC AUC: 91.8
anomaly-detection-on-fashion-mnistPANDA
ROC AUC: 95.6
anomaly-detection-on-hyper-kvasir-datasetPANDA
AUC: 0.937
anomaly-detection-on-one-class-cifar-10PANDA
AUROC: 96.2
anomaly-detection-on-one-class-cifar-10Self-Supervised One-class SVM, RBF kernel
AUROC: 64.7
anomaly-detection-on-one-class-cifar-10Self-Supervised DeepSVDD
AUROC: 64.8
anomaly-detection-on-one-class-cifar-10PANDA-OE
AUROC: 98.9
anomaly-detection-on-one-class-cifar-100PANDA-OE
AUROC: 97.3
anomaly-detection-on-one-class-cifar-100Self-Supervised Multi-Head RotNet
AUROC: 80.1
anomaly-detection-on-one-class-cifar-100Self-Supervised One-class SVM, RBF kernel
AUROC: 62.6
anomaly-detection-on-one-class-cifar-100Self-Supervised DeepSVDD
AUROC: 67
anomaly-detection-on-one-class-cifar-100PANDA
AUROC: 94.1

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
PANDA:面向异常检测与分割的预训练特征适配 | 论文 | HyperAI超神经