
摘要
在点云中,三维物体通常被表示为3D框。这种表示方法模仿了广泛研究的基于图像的2D边界框检测,但带来了额外的挑战。三维世界中的物体没有特定的方向,而基于框的检测器难以枚举所有方向或将轴对齐的边界框拟合到旋转的物体上。本文提出了一种将3D物体表示、检测和跟踪为点的方法。我们的框架——CenterPoint,首先使用关键点检测器检测物体中心,并回归其他属性,包括3D尺寸、3D方向和速度。在第二阶段,它利用物体上的额外点特征来细化这些估计值。在CenterPoint中,3D物体跟踪简化为贪婪最近点匹配。由此产生的检测和跟踪算法简单、高效且有效。CenterPoint在nuScenes基准测试中实现了3D检测和跟踪的最佳性能,单模型分别达到了65.5 NDS(NuScenes Detection Score)和63.8 AMOTA(Average Multi-category Tracking Accuracy)。在Waymo开放数据集上,CenterPoint大幅超越了所有先前的单模型方法,并在所有仅使用激光雷达的提交中排名第一。代码和预训练模型可在https://github.com/tianweiy/CenterPoint 获取。
代码仓库
zion-king/Center-based-3D-Object-Detection-and-Tracking
pytorch
GitHub 中提及
tianweiy/CenterPoint-KITTI
pytorch
GitHub 中提及
open-mmlab/mmdetection3d
pytorch
abhigoku10/CenterPoint_PC
pytorch
GitHub 中提及
nvidia-ai-iot/lidar_ai_solution
pytorch
GitHub 中提及
15526837635/CenterPoint
pytorch
GitHub 中提及
CarkusL/CenterPoint
pytorch
GitHub 中提及
safetylab24/FusionCVCP
pytorch
GitHub 中提及
mon95/centerpoint-maps
pytorch
GitHub 中提及
tianweiy/CenterPoint
官方
pytorch
GitHub 中提及
chowkamlee81/CentrePointNet
pytorch
GitHub 中提及
livox-sdk/livox_detection
pytorch
GitHub 中提及
PaddlePaddle/Paddle3D
paddle
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| 3d-multi-object-tracking-on-nuscenes | CenterPoint-Single | AMOTA: 0.64 |
| 3d-object-detection-on-nuscenes | CenterPoint | NDS: 0.71 mAAE: 0.14 mAOE: 0.35 mAP: 0.67 mASE: 0.24 mATE: 0.25 mAVE: 0.25 |
| 3d-object-detection-on-nuscenes-lidar-only | CenterPoint | NDS: 67.3 NDS (val): 66.8 mAP: 60.3 mAP (val): 59.6 |
| 3d-object-detection-on-once | CenterPoint | mAP: 60.1 |
| 3d-object-detection-on-waymo-all-ns | CenterPoint | APH/L2: 71.93 |
| 3d-object-detection-on-waymo-cyclist | CenterPoint | APH/L2: 71.28 |
| 3d-object-detection-on-waymo-open-dataset | CenterPoint | mAPH/L2: 65.8 |
| 3d-object-detection-on-waymo-pedestrian | CenterPoint | APH/L2: 71.52 |
| robust-3d-object-detection-on-kitti-c | CenterPoint | mean Corruption Error (mCE): 100.00% |
| robust-3d-object-detection-on-nuscenes-c | CenterPoint-PP | mean Corruption Error (mCE): 100.00 |