摘要

多数据集训练为在无需额外标注成本的情况下有效利用异构大规模数据集提供了一种可行方案。在本工作中，我们提出了一种可扩展的多数据集检测器（ScaleDet），其在增加训练数据集数量时能够显著提升跨数据集的泛化能力。与现有大多数依赖人工重标注或复杂优化策略来统一不同数据集标签的多数据集学习方法不同，我们提出了一种简单且可扩展的公式，用于构建多数据集训练所需的统一语义标签空间。ScaleDet通过视觉-文本对齐进行训练，学习基于跨数据集标签语义相似性的标签分配策略。模型训练完成后，能够良好地泛化至任意给定的上游和下游数据集，涵盖已见类别与未见类别。我们在多个数据集上进行了大量实验，以LVIS、COCO、Objects365和OpenImages作为上游数据集，选取Object Detection in the Wild（ODinW）中的13个数据集作为下游数据集。实验结果表明，ScaleDet在各项任务上均取得了优异性能：在LVIS上达到50.7的mAP，在COCO上达到58.8，在Objects365上达到46.8，在OpenImages上达到76.2，在ODinW上达到71.8，显著超越了采用相同主干网络的现有最先进检测器。