摘要

在本技术报告中，我们简要介绍我们在2023年视觉异常与新奇检测（Visual Anomaly and Novelty Detection, VAND）挑战赛零样本/少样本赛道中的解决方案。针对工业视觉检测任务，构建一个能够仅依赖极少甚至无需正常参考图像即可快速适应多种产品类别的单一模型，是一项极具前景的研究方向，这主要源于产品种类的极大多样性。在零样本赛道中，我们基于CLIP模型提出了一种改进方案，通过引入额外的线性层，将图像特征映射至联合嵌入空间，使其能够与文本特征进行比较，从而生成异常分割图。此外，在存在参考图像的情况下，我们采用多个记忆库（memory banks）存储参考图像的特征，并在测试阶段将其与待测图像的特征进行对比。在本次挑战赛中，我们的方法在零样本赛道中荣获第一名，尤其在分割任务上表现突出，F1分数较第二名参赛者提升了0.0489。此外，在少样本赛道中，我们整体排名第四，其中分类F1分数达到0.8687，位居所有参赛团队之首。