4 个月前

基于中心的3D目标检测与跟踪

基于中心的3D目标检测与跟踪

摘要

在点云中,三维物体通常被表示为3D框。这种表示方法模仿了广泛研究的基于图像的2D边界框检测,但带来了额外的挑战。三维世界中的物体没有特定的方向,而基于框的检测器难以枚举所有方向或将轴对齐的边界框拟合到旋转的物体上。本文提出了一种将3D物体表示、检测和跟踪为点的方法。我们的框架——CenterPoint,首先使用关键点检测器检测物体中心,并回归其他属性,包括3D尺寸、3D方向和速度。在第二阶段,它利用物体上的额外点特征来细化这些估计值。在CenterPoint中,3D物体跟踪简化为贪婪最近点匹配。由此产生的检测和跟踪算法简单、高效且有效。CenterPoint在nuScenes基准测试中实现了3D检测和跟踪的最佳性能,单模型分别达到了65.5 NDS(NuScenes Detection Score)和63.8 AMOTA(Average Multi-category Tracking Accuracy)。在Waymo开放数据集上,CenterPoint大幅超越了所有先前的单模型方法,并在所有仅使用激光雷达的提交中排名第一。代码和预训练模型可在https://github.com/tianweiy/CenterPoint 获取。

代码仓库

tianweiy/CenterPoint-KITTI
pytorch
GitHub 中提及
abhigoku10/CenterPoint_PC
pytorch
GitHub 中提及
nvidia-ai-iot/lidar_ai_solution
pytorch
GitHub 中提及
15526837635/CenterPoint
pytorch
GitHub 中提及
CarkusL/CenterPoint
pytorch
GitHub 中提及
safetylab24/FusionCVCP
pytorch
GitHub 中提及
mon95/centerpoint-maps
pytorch
GitHub 中提及
tianweiy/CenterPoint
官方
pytorch
GitHub 中提及
chowkamlee81/CentrePointNet
pytorch
GitHub 中提及
livox-sdk/livox_detection
pytorch
GitHub 中提及

基准测试

基准方法指标
3d-multi-object-tracking-on-nuscenesCenterPoint-Single
AMOTA: 0.64
3d-object-detection-on-nuscenesCenterPoint
NDS: 0.71
mAAE: 0.14
mAOE: 0.35
mAP: 0.67
mASE: 0.24
mATE: 0.25
mAVE: 0.25
3d-object-detection-on-nuscenes-lidar-onlyCenterPoint
NDS: 67.3
NDS (val): 66.8
mAP: 60.3
mAP (val): 59.6
3d-object-detection-on-onceCenterPoint
mAP: 60.1
3d-object-detection-on-waymo-all-nsCenterPoint
APH/L2: 71.93
3d-object-detection-on-waymo-cyclistCenterPoint
APH/L2: 71.28
3d-object-detection-on-waymo-open-datasetCenterPoint
mAPH/L2: 65.8
3d-object-detection-on-waymo-pedestrianCenterPoint
APH/L2: 71.52
robust-3d-object-detection-on-kitti-cCenterPoint
mean Corruption Error (mCE): 100.00%
robust-3d-object-detection-on-nuscenes-cCenterPoint-PP
mean Corruption Error (mCE): 100.00

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于中心的3D目标检测与跟踪 | 论文 | HyperAI超神经