
摘要
点云中的目标检测是许多机器人应用(如自动驾驶)的重要方面。本文研究了将点云编码为适合下游检测流水线的格式的问题。近期文献提出了两种类型的编码器:固定编码器通常速度快但牺牲了准确性,而从数据中学习得到的编码器则更加准确,但速度较慢。在本工作中,我们提出了一种新颖的编码器——PointPillars,该编码器利用PointNets学习垂直柱状(pillars)组织的点云表示。虽然编码后的特征可以与任何标准的2D卷积检测架构结合使用,但我们进一步提出了一种精简的下游网络。大量的实验表明,PointPillars在速度和准确性方面均大幅优于之前的编码器。尽管仅使用激光雷达,我们的完整检测流水线在3D和鸟瞰图KITTI基准测试中仍显著超越了现有方法,甚至超过了融合方法。这一检测性能是在以62赫兹运行的情况下实现的,比现有方法提高了2到4倍的运行时间效率。我们方法的一个更快版本在105赫兹时达到了与现有最佳方法相当的性能。这些基准测试结果表明,PointPillars是点云目标检测的一种合适的编码方式。
代码仓库
SmallMunich/nutonomy_pointpillars
pytorch
GitHub 中提及
LKLQQ/pointpillars
mindspore
GitHub 中提及
hova88/Lidardet
pytorch
GitHub 中提及
open-mmlab/mmdetection3d
pytorch
sanjeewk/ppnet
GitHub 中提及
nvidia-ai-iot/lidar_ai_solution
pytorch
GitHub 中提及
isl-org/Open3D-ML
pytorch
krullgit/realsense_3d_detection
tf
GitHub 中提及
zhulf0804/pointpillars
pytorch
GitHub 中提及
nutonomy/second.pytorch
官方
pytorch
GitHub 中提及
hongru-seu/PointPilliar
mindspore
GitHub 中提及
airalcorn2/paved2paradise
pytorch
PaddlePaddle/Paddle3D
paddle
Uuuuuuho/Pillar_on_SoC
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| 3d-object-detection-on-dair-v2x-i | PointPillars | AP|R40(easy): 63.1 AP|R40(hard): 54.0 AP|R40(moderate): 54.0 |
| 3d-object-detection-on-kitti-cars-easy | PointPillars | AP: 79.05% |
| 3d-object-detection-on-kitti-cyclists | PointPillars | AP: 59.07% |
| 3d-object-detection-on-kitti-cyclists-easy | PointPillars | AP: 75.78% |
| 3d-object-detection-on-kitti-cyclists-hard | PointPillars | AP: 52.92% |
| 3d-object-detection-on-kitti-pedestrians | PointPillars | AP: 41.92% |
| 3d-object-detection-on-nuscenes-lidar-only | PointPillar | NDS: 45.3 mAP: 30.5 |
| birds-eye-view-object-detection-on-kitti | PointPillars | AP: 62.25% |
| birds-eye-view-object-detection-on-kitti-1 | PointPillars | AP: 50.23% |
| birds-eye-view-object-detection-on-kitti-cars | PointPillars | AP: 86.1% |
| birds-eye-view-object-detection-on-kitti-cars-4 | PointPillars | AP: 88.35% |
| birds-eye-view-object-detection-on-kitti-cars-5 | PointPillars | AP: 79.83 |
| robust-3d-object-detection-on-kitti-c | SECOND | mean Corruption Error (mCE): 95.93% |
| robust-3d-object-detection-on-kitti-c | PointPillars | mean Corruption Error (mCE): 110.67% |