
摘要
人类天生具有在环境中识别未知物体实例的本能。这种对未知实例的内在好奇心有助于在相关知识最终可获得时学习这些未知对象。这促使我们提出了一种新的计算机视觉问题,称为“开放世界物体检测”(Open World Object Detection),其任务是:1)在没有显式监督的情况下识别模型未见过的物体为“未知”,2)当相应的标签逐步提供时,增量地学习这些已识别的未知类别,同时不会忘记之前学过的类别。我们定义了该问题,引入了一种强大的评估协议,并提供了一种基于对比聚类和能量基未知识别的新颖解决方案,我们称之为ORE:开放世界物体检测器(Open World Object Detector)。我们的实验评估和消融研究分析了ORE在实现开放世界目标方面的有效性。作为一个有趣的副产品,我们发现识别和表征未知实例有助于减少增量物体检测设置中的混淆情况,在此方面我们达到了最先进的性能,而无需额外的方法论努力。我们希望我们的工作能够吸引更多研究者关注这一新发现但至关重要的研究方向。
代码仓库
JosephKJ/OWOD
官方
pytorch
GitHub 中提及
josephkj/eli
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| open-world-object-detection-on-coco-2017 | ORE | A-OSE: 7772 MAP: 38.98 Unknown Recall: 11.32 WI: 0.0154 |
| open-world-object-detection-on-coco-2017-1 | ORE | A-OSE: 6634 MAP: 29.32 Unknown Recall: 14.79 WI: 0.0081 |
| open-world-object-detection-on-coco-2017-2 | ORE | MAP: 26.66 |
| open-world-object-detection-on-pascal-voc | ORE | A-OSE: 8234 MAP: 56.34 Unknown Recall: 14.40 WI: 0.02193 |