摘要

零样本异常检测（Zero-shot Anomaly Detection, ZSAD）旨在识别来自任意新类别图像中的异常。本研究提出AdaCLIP方法，用于解决ZSAD任务，其基于预训练的视觉-语言模型（Vision-Language Model, VLM）CLIP。AdaCLIP通过在CLIP中引入可学习提示（learnable prompts），并利用辅助标注的异常检测数据进行训练以优化这些提示。本文提出了两类可学习提示：静态提示与动态提示。静态提示在所有图像间共享，用于初步适应CLIP以应对ZSAD任务；而动态提示则针对每张测试图像独立生成，赋予CLIP动态适应能力。将静态提示与动态提示结合使用，称为混合提示（hybrid prompts），该策略显著提升了ZSAD的性能。在工业与医疗领域共14个真实世界异常检测数据集上的大量实验表明，AdaCLIP在各项指标上均优于现有ZSAD方法，并展现出更强的类别泛化能力，甚至在跨领域场景下也具有良好的适应性。最后，我们的分析强调了多样化辅助数据与优化提示设计对提升模型泛化能力的重要性。代码已开源，地址为：https://github.com/caoyunkang/AdaCLIP。