摘要

我们致力于解决新颖类别发现与定位（NCDL）的问题。在这一设定中，我们假设源数据集中仅对部分对象类别进行了监督。其他类别的实例需要基于视觉相似性自动发现、分类和定位，而无需任何人工监督。为了解决NCDL问题，我们提出了一种两阶段的对象检测网络——基于区域的NCDL（RNCDL），该网络利用区域提议网络来定位感兴趣的区域（RoIs）。随后，我们训练该网络学习对每个RoI进行分类，既包括源数据集中出现的已知类别，也包括具有长尾分布约束的新颖类别，这反映了现实世界中类别的自然频率。通过以端到端的方式训练我们的检测网络以实现这一目标，它学会了对大量不同类别的所有区域提议进行分类，包括那些未包含在标记对象类别词汇表中的类别。我们在COCO和LVIS数据集上进行的实验表明，我们的方法显著优于依赖传统聚类算法的多阶段流水线。此外，我们通过将该方法应用于大规模的Visual Genome数据集，展示了其通用性，结果表明我们的网络能够在没有直接监督的情况下成功检测各种语义类别。