摘要

开放词汇对象检测从预训练的视觉-语言模型中受益匪浅，但仍受限于可用检测训练数据的数量。尽管可以通过使用网络图像-文本对作为弱监督来扩展检测训练数据，但这一方法尚未达到与图像级预训练相当的规模。本文提出了一种通过自训练（self-training）扩大检测数据的方法，该方法利用现有的检测器在图像-文本对上生成伪边界框注释。自训练扩展的主要挑战包括标签空间的选择、伪注释过滤以及训练效率。我们介绍了OWLv2模型和OWL-ST自训练方案，这些方案解决了上述挑战。即使在相似的训练规模（约1000万个样本）下，OWLv2已经超越了先前最先进的开放词汇检测器的性能。然而，借助OWL-ST，我们可以扩展到超过10亿个样本，从而实现进一步的重大改进：使用L/14架构时，OWL-ST在LVIS罕见类别上的平均精度（AP）从31.2%提高到44.6%（相对提高了43%）。OWL-ST为开放世界定位解锁了网络规模的训练，类似于图像分类和语言建模中所见的情况。