3 个月前

密集独立查询用于端到端目标检测

密集独立查询用于端到端目标检测

摘要

在目标检测中,一对一标签分配机制成功消除了对非极大值抑制(NMS)作为后处理步骤的需求,实现了端到端的检测流程。然而,这一方法也带来了新的挑战:广泛采用的稀疏查询无法保证高召回率,而密集查询则不可避免地引入大量相似查询,导致优化困难。由于稀疏与密集查询均存在缺陷,那么在端到端目标检测中,理想的查询应具备何种特性?本文提出,解决方案应为密集独立查询(Dense Distinct Queries, DDQ)。具体而言,我们首先像传统检测器一样初始化密集查询,随后从中筛选出具有区分性的查询用于一对一标签分配。DDQ融合了传统检测器与近期端到端检测器的优势,在多种检测器(包括FCN、R-CNN和DETR)上均显著提升了性能。尤为突出的是,DDQ-DETR在使用ResNet-50主干网络的情况下,仅用12个训练周期便在MS-COCO数据集上达到52.1 AP,超越了当前所有同类设置下的现有检测器。此外,DDQ在密集场景下同样展现出端到端检测器的优势,在CrowdHuman数据集上取得了93.8 AP的优异表现。我们期望DDQ能够启发研究者重新思考传统方法与端到端检测器之间的互补性。项目源代码可访问:\url{https://github.com/jshilong/DDQ}。

代码仓库

wokaikaixinxin/rqformer
pytorch
GitHub 中提及
jshilong/ddq
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
object-detection-on-crowdhuman-full-bodyDDQ R-CNN (R50)
AP: 93.5
Recall: 98.6
mMR: 40.4
object-detection-on-crowdhuman-full-bodyDDQ FCN (R50 One-Stage)
AP: 92.7
Recall: 98.2
mMR: 41.0
object-detection-on-crowdhuman-full-bodyDDQ DETR (R50)
AP: 93.8
Recall: 98.7
mMR: 39.7

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
密集独立查询用于端到端目标检测 | 论文 | HyperAI超神经