摘要

我们提出了一种区域感知开放词汇视觉变换器（Region-aware Open-vocabulary Vision Transformers, RO-ViT），这是一种对比图像-文本预训练方法，旨在弥合图像级预训练与开放词汇对象检测之间的差距。在预训练阶段，我们建议随机裁剪并调整位置嵌入的位置区域大小，而不是使用整个图像的位置嵌入。这更好地匹配了在检测微调阶段中位置嵌入的区域级使用。此外，我们将对比学习中常用的softmax交叉熵损失替换为焦点损失（focal loss），以更好地学习那些信息丰富但难以识别的样本。最后，我们利用最近在新颖对象提议方面的进展来改进开放词汇检测的微调过程。我们在LVIS和COCO开放词汇检测基准以及零样本迁移上评估了我们的完整模型。RO-ViT在LVIS上达到了最先进的34.1 $AP_r$，比现有最佳方法提高了7.8个百分点，并且在零样本迁移检测方面也表现出色。令人惊讶的是，RO-ViT还改善了图像级表示，在COCO和Flickr图像-文本检索基准的12个指标中有9个达到了最先进水平，超过了具有更大模型的竞争方法。