4 个月前

Dinomaly:多类无监督异常检测中的“少即是多”哲学

Dinomaly:多类无监督异常检测中的“少即是多”哲学

摘要

近期的研究强调了一种实用的无监督异常检测(UAD)设置,该设置为多类图像构建了一个统一的模型。尽管在解决这一具有挑战性的任务方面取得了多种进展,但多类设置下的检测性能仍远落后于最先进的类别分离模型。我们的研究旨在弥合这一显著的性能差距。在本文中,我们介绍了一种极简主义的基于重建的异常检测框架,即Dinomaly,该框架利用纯Transformer架构,无需依赖复杂设计、附加模块或专门技巧。通过这一仅由注意力机制和多层感知机组成的强大框架,我们发现了四个对多类异常检测至关重要的简单组件:(1)基础Transformer,用于提取普遍性和区分性特征;(2)噪声瓶颈(Noisy Bottleneck),其中预设的Dropout完成了所有的噪声注入操作;(3)线性注意力(Linear Attention),其天然无法集中注意力;(4)宽松重建(Loose Reconstruction),不强制逐层或逐点重建。我们在多个流行的异常检测基准数据集上进行了广泛的实验,包括MVTec-AD、VisA和Real-IAD。所提出的Dinomaly在三个数据集上的图像级AUROC分别达到了99.6%、98.7%和89.3%,不仅优于最先进的多类UAD方法,还达到了最先进类别分离UAD记录的水平。

代码仓库

guojiajeremy/dinomaly
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
anomaly-detection-on-mpddDinomaly
Detection AUROC: 97.2
Segmentation AUROC: 99.1
anomaly-detection-on-mvtec-adDinomaly ViT-B (model-unified multi-class)
Detection AUROC: 99.60
Segmentation AP: 69.29
Segmentation AUPRO: 94.79
Segmentation AUROC: 98.35
anomaly-detection-on-mvtec-adDinomaly ViT-L (model-unified multi-class)
Detection AUROC: 99.77
Segmentation AP: 70.53
Segmentation AUPRO: 95.09
Segmentation AUROC: 98.54
anomaly-detection-on-visaDinomaly ViT-L (model-unified multi-class)
Detection AUROC: 98.9
F1-Score: 96.1
Segmentation AUPRO: 94.8
Segmentation AUPRO (until 30% FPR): 94.8
Segmentation AUROC: 99.1

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
Dinomaly:多类无监督异常检测中的“少即是多”哲学 | 论文 | HyperAI超神经