摘要

在开放世界中部署的机器学习系统，识别分布外（Out-of-Distribution, OOD）样本至关重要。目前绝大多数OOD检测方法仅依赖单一模态（如仅视觉或仅语言），未能充分利用多模态表征中蕴含的丰富信息。受近期视觉-语言预训练技术成功的启发，本文将OOD检测的范式从单模态拓展至多模态，丰富了该领域的研究格局。具体而言，我们提出了一种简单而有效的零样本OOD检测方法——最大概念匹配（Maximum Concept Matching, MCM），其核心思想是通过将视觉特征与文本概念进行对齐来实现检测。本文还提供了深入的分析与理论洞察，以揭示MCM方法有效性的内在机制。大量实验表明，MCM在多种真实世界任务中均展现出卓越性能。在一项具有挑战性的OOD任务上，当类别语义相近时，基于视觉-语言特征的MCM方法相较于仅使用纯视觉特征的基线方法，AUROC指标提升达13.1%。相关代码已开源，地址为：https://github.com/deeplearning-wisc/MCM。