摘要

开放词汇目标检测（Open-vocabulary Object Detection, OVD）需要对区域与语义之间的关系进行稳健建模，这类关系通常可通过大量区域-文本配对数据进行学习。然而，由于标注成本高昂，实际可用的此类数据极为有限。为此，本文提出 RTGen，一种可扩展的开放词汇区域-文本配对生成方法，并验证其在提升开放词汇目标检测性能方面的有效性。RTGen 基于可扩展的图像-标题数据，同时支持文本到区域和区域到文本的生成过程。其中，文本到区域的生成依赖于图像修复（image inpainting）技术，并由我们提出的场景感知修复引导器（scene-aware inpainting guider）驱动，以确保整体布局的协调性；而区域到文本的生成则通过多种提示（prompt）进行区域级别的图像描述生成，并依据 CLIP 相似度选择最优匹配的文本。为进一步支持基于区域-文本配对的检测训练，我们还引入了一种定位感知的区域-文本对比损失（localization-aware region-text contrastive loss），该损失能够学习到针对不同定位质量的物体候选区域。大量实验表明，RTGen 可作为可扩展、语义丰富且高效的开放词汇目标检测数据源，在引入更多数据时仍能持续提升模型性能，显著优于现有最先进方法。