摘要

尽管深度神经网络在目标检测方面表现出卓越的准确性，但其训练和扩展成本高昂，主要原因是需要大量的监督数据。特别是，学习更多的目标类别通常需要相应增加更多的边界框注释。为了减少对监督数据的需求，研究人员已经探索了弱监督和零样本学习技术来扩展目标检测器以覆盖更多类别，但这些方法尚未达到有监督模型的成功程度和广泛应用。本文提出了一种新的目标检测问题表述，即开放词汇目标检测（open-vocabulary object detection），这种方法比弱监督和零样本方法更具普遍性、实用性和有效性。我们提出了一种新方法，该方法利用有限目标类别的边界框注释以及涵盖更广泛对象的图像-标题对进行训练，且后者的数据获取成本显著降低。实验结果表明，所提出的方法在训练过程中未提供边界框注释的目标上，其检测和定位精度显著高于零样本方法。同时，对于提供了边界框注释的目标，该方法的检测精度几乎与有监督方法相当，远优于弱监督基线方法。因此，我们在可扩展目标检测领域建立了新的技术标杆。