摘要

在本研究中，我们致力于解决新兴且具有挑战性的新对象检测（NOD）问题，重点是在推理过程中准确检测已知和新对象类别。传统的对象检测算法本质上是封闭集的，这限制了它们处理NOD的能力。我们提出了一种新的方法，将现有的封闭集检测器转化为开放集检测器。这一转化通过利用预训练基础模型（特别是CLIP和SAM）的互补优势，并通过我们的合作机制实现。此外，通过将该机制与最先进的开放集检测器如GDINO集成，我们在对象检测性能方面建立了新的基准。我们的方法在具有挑战性的LVIS数据集上实现了17.42 mAP的新对象检测和42.08 mAP的已知对象检测。将我们的方法应用于COCO OVD分割时，对于新类别的$ \text{AP}_{50} $指标超过了当前最先进水平7.2个百分点。我们的代码可在https://rohit901.github.io/coop-foundation-models/ 获取。