摘要

大规模多模态预训练模型（如CLIP和PaLI）在各种视觉领域和任务中表现出强大的泛化能力。然而，现有的图像分类基准测试通常仅评估特定领域的识别（例如，户外图像）或特定任务的识别（例如，分类植物物种），这不足以评估预训练基础模型是否为通用视觉识别器。为了解决这一问题，我们正式提出了开放域视觉实体识别（OVEN）任务，其中模型需要根据文本查询将图像链接到相应的维基百科实体上。我们通过重新利用14个现有数据集构建了OVEN-Wiki，所有标签均统一到单一的标签空间：维基百科实体。OVEN要求模型从六百万个可能的维基百科实体中进行选择，使其成为具有最大标签数量的通用视觉识别基准测试。我们对最先进的预训练模型的研究表明，在大规模标签空间上的泛化能力仍有很大的提升空间。研究结果还显示，基于PaLI的自回归视觉识别模型表现出了惊人的性能，即使是在微调过程中从未见过的维基百科实体上也是如此。此外，我们发现现有的预训练模型各有优势：虽然基于PaLI的模型整体性能更高，但基于CLIP的模型在识别尾部实体方面表现更好。