3 个月前

AnomalyDINO:通过DINOv2提升基于图像块的少样本异常检测

AnomalyDINO:通过DINOv2提升基于图像块的少样本异常检测

摘要

近年来,多模态基础模型的进展为少样本异常检测设定了新的标准。本文探讨了一个关键问题:仅依靠高质量的视觉特征是否足以媲美现有的最先进视觉-语言模型。我们通过将DINOv2模型适配于单样本及少样本异常检测任务,特别是在工业应用背景下,给出了肯定的回答。实验表明,该方法不仅能够与现有技术相媲美,甚至在许多场景下实现超越。我们提出的纯视觉方法——AnomalyDINO,遵循已被广泛验证的基于图像块(patch-level)的深度最近邻范式,能够同时实现图像级异常预测与像素级异常分割。该方法在方法论上简洁且无需训练,因此无需任何额外数据进行微调或元学习。尽管结构简单,AnomalyDINO在单样本与少样本异常检测任务中均取得了当前最优性能(例如,将MVTec-AD数据集上的单样本检测AUROC从93.1%提升至96.6%)。其低计算开销与卓越的少样本表现,使AnomalyDINO成为工业场景中快速部署的理想候选方案。

代码仓库

dammsi/AnomalyDINO
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
anomaly-detection-on-mvtec-adAnomalyDINO-S (1-shot)
Detection AUROC: 96.6
Segmentation AUPRO: 92.7
Segmentation AUROC: 96.8
anomaly-detection-on-mvtec-adAnomalyDINO-S (4-shot)
Detection AUROC: 97.7
Segmentation AUPRO: 93.4
Segmentation AUROC: 97.2
anomaly-detection-on-mvtec-adAnomalyDINO-S (full-shot)
Detection AUROC: 99.5
Segmentation AUPRO: 95
Segmentation AUROC: 98.2
anomaly-detection-on-mvtec-adAnomalyDINO-S (2-shot)
Detection AUROC: 96.9
Segmentation AUPRO: 93.1
Segmentation AUROC: 97.0
anomaly-detection-on-visaAnomalyDINO-S (full-shot)
Detection AUROC: 97.6
Segmentation AUPRO (until 30% FPR): 96.1
Segmentation AUROC: 98.8
anomaly-detection-on-visaAnomalyDINO-S (4-shot)
Detection AUROC: 92.6
Segmentation AUPRO (until 30% FPR): 94.1
Segmentation AUROC: 98.2
anomaly-detection-on-visaAnomalyDINO-S (2-shot)
Detection AUROC: 89.7
Segmentation AUPRO (until 30% FPR): 93.4
Segmentation AUROC: 98
anomaly-detection-on-visaAnomalyDINO-S (1-shot)
Detection AUROC: 87.4
Segmentation AUPRO (until 30% FPR): 92.5
Segmentation AUROC: 97.8

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
AnomalyDINO:通过DINOv2提升基于图像块的少样本异常检测 | 论文 | HyperAI超神经