摘要

在这项工作中，我们提出了一种基于图像-标题对的开放词汇对象检测方法，该方法能够在已知类别的基础上学习检测新的对象类别。这是一种两阶段的训练方法，首先使用位置引导的图像-标题匹配技术以弱监督的方式学习新类别和已知类别的类别标签，然后利用已知类别的注释专门化模型以完成对象检测任务。我们发现，对于检测新对象而言，简单的语言模型比大型上下文语言模型更为适用。此外，我们引入了一种一致性正则化技术来更好地利用图像-标题对的信息。我们的方法在数据效率方面优于现有的开放词汇检测方法。源代码可在 https://github.com/lmb-freiburg/locov 获取。