4 个月前

DetZero:重新思考基于长期序列点云的离线三维目标检测

DetZero:重新思考基于长期序列点云的离线三维目标检测

摘要

现有的离线3D检测器总是遵循模块化管道设计,以充分利用无限的连续点云数据。我们发现,离线3D检测器的全部潜力尚未得到充分挖掘,主要原因有两点:(1)车载多目标跟踪器无法生成足够完整的物体轨迹;(2)物体的运动状态对以物体为中心的细化阶段在利用长期时间上下文表示时构成了不可避免的挑战。为了解决这些问题,我们提出了一种新的离线3D目标检测范式,命名为DetZero。具体而言,我们提出了一种离线跟踪器与多帧检测器相结合的方法,专注于生成物体轨迹的完整性。此外,我们还提出了一种基于注意力机制的细化模块,通过分解回归方法加强长期连续点云之间的上下文信息交互,从而实现对物体的精细化检测。在Waymo开放数据集上的大量实验表明,我们的DetZero在所有最先进的车载和离线3D检测方法中表现最佳。值得注意的是,DetZero在Waymo 3D目标检测排行榜上以85.15 mAPH(L2)的检测性能排名第一。进一步的实验验证了使用这些高质量结果替代人工标签的应用前景。我们的实证研究促使重新思考传统做法,并得出了可以指导未来离线3D目标检测研究的一些有趣发现。

代码仓库

pjlab-adg/detzero
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
3d-multi-object-tracking-on-waymo-openDetZero
MOTA/L2: 0.7505

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
DetZero:重新思考基于长期序列点云的离线三维目标检测 | 论文 | HyperAI超神经