HyperAIHyperAI

Command Palette

Search for a command to run...

AdaCLIP:通过混合可学习提示适配CLIP实现零样本异常检测

Yunkang Cao Jiangning Zhang Luca Frittoli Yuqi Cheng Weiming Shen Giacomo Boracchi

摘要

零样本异常检测(Zero-shot Anomaly Detection, ZSAD)旨在识别来自任意新类别图像中的异常。本研究提出AdaCLIP方法,用于解决ZSAD任务,其基于预训练的视觉-语言模型(Vision-Language Model, VLM)CLIP。AdaCLIP通过在CLIP中引入可学习提示(learnable prompts),并利用辅助标注的异常检测数据进行训练以优化这些提示。本文提出了两类可学习提示:静态提示与动态提示。静态提示在所有图像间共享,用于初步适应CLIP以应对ZSAD任务;而动态提示则针对每张测试图像独立生成,赋予CLIP动态适应能力。将静态提示与动态提示结合使用,称为混合提示(hybrid prompts),该策略显著提升了ZSAD的性能。在工业与医疗领域共14个真实世界异常检测数据集上的大量实验表明,AdaCLIP在各项指标上均优于现有ZSAD方法,并展现出更强的类别泛化能力,甚至在跨领域场景下也具有良好的适应性。最后,我们的分析强调了多样化辅助数据与优化提示设计对提升模型泛化能力的重要性。代码已开源,地址为:https://github.com/caoyunkang/AdaCLIP


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
AdaCLIP:通过混合可学习提示适配CLIP实现零样本异常检测 | 论文 | HyperAI超神经