3 个月前

SAM-LAD:通用分割模型携手零样本逻辑异常检测

SAM-LAD:通用分割模型携手零样本逻辑异常检测

摘要

视觉异常检测在工业缺陷检测、医学诊断等现实应用场景中具有重要意义。然而,现有大多数方法主要关注局部结构异常,难以在逻辑条件下识别更高层次的功能性异常。尽管近期研究已开始探索逻辑异常检测,但其仅能处理诸如缺失或多余等简单异常类型,且由于高度依赖数据驱动,泛化能力较差。为填补这一空白,本文提出一种零样本、即插即用的逻辑异常检测框架——SAM-LAD,适用于任意场景下的逻辑异常检测。首先,利用预训练主干网络获取查询图像的特征图。同时,通过查询图像的最近邻搜索,检索出相应的参考图像及其对应的特征图。随后,引入Segment Anything Model(SAM)获取查询图像与参考图像中各物体的掩码。将每个物体掩码与整幅图像的特征图相乘,从而提取出对应的物体特征图。在此基础上,提出一种物体匹配模型(Object Matching Model, OMM),用于匹配查询图像与参考图像中的物体。为进一步提升匹配性能,我们设计了一种动态通道图注意力模块(Dynamic Channel Graph Attention, DCGA),将每个物体视为关键点,并将其特征图转换为特征向量。最后,基于物体匹配关系,构建异常度量模型(Anomaly Measurement Model, AMM),以识别存在逻辑异常的物体,同时也能检测物体内部的结构异常。我们在多个基准数据集上对所提出的SAM-LAD进行了验证,涵盖工业缺陷检测数据集(MVTec Loco AD、MVTec AD)以及逻辑异常数据集(DigitAnatomy)。大量实验结果表明,SAM-LAD在各项指标上均显著优于现有最先进(SoTA)方法,尤其在逻辑异常检测任务中表现突出,展现出优异的检测能力与良好的泛化性能。

基准测试

基准方法指标
anomaly-detection-on-mvtec-adSAM-LAD
Detection AUROC: 98.4
Segmentation AUROC: 98.5
anomaly-detection-on-mvtec-loco-adSAM-LAD
Avg. Detection AUROC: 90.7
Segmentation AU-sPRO (until FPR 5%): 83.2

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
SAM-LAD:通用分割模型携手零样本逻辑异常检测 | 论文 | HyperAI超神经