3 个月前

视锥-PointPillars:一种基于RGB相机与LiDAR的多阶段3D目标检测方法

视锥-PointPillars:一种基于RGB相机与LiDAR的多阶段3D目标检测方法

摘要

精确的三维物体检测是自动驾驶车辆感知模块中的关键组成部分。对三维环境中物体的深入理解有助于实现更优的决策与路径规划。在自动驾驶车辆中,RGB相机与激光雷达(LiDAR)是最常用的环境感知传感器。尽管基于RGB图像的二维物体检测方法已取得诸多令人瞩目的成果,但在大规模场景的三维点云中高效定位小型物体(如行人)仍是当前研究中的一个挑战性课题。本文提出一种新颖的基于LiDAR数据的三维物体检测方法——Frustum-PointPillars。该方法并未完全依赖点云特征,而是充分利用成熟的二维物体检测技术,以缩小三维空间中的搜索范围。随后,在缩减后的点云数据上,采用柱状特征编码网络(Pillar Feature Encoding)实现物体的精确定位。此外,我们还提出一种新型的点云掩码策略,进一步提升物体定位的准确性。我们在KITTI数据集上训练所提出的网络,并通过实验验证了其有效性。在KITTI测试集上,本方法在三维行人检测(鸟瞰图视角)任务中超越了现有的多传感器最先进(SOTA)方法,同时实现了高达14 Hz的运行速度,显著提升了推理效率。

基准测试

基准方法指标
3d-object-detection-on-kitti-pedestriansFrustrum-PointPillars
AP: 42.89 %
3d-object-detection-on-kitti-pedestrians-easyFrustrum-PointPillars
AP: 51.22 %
3d-object-detection-on-kitti-pedestrians-hardFrustrum-PointPillars
AP: 39.28 %
birds-eye-view-object-detection-on-kitti-1Frustrum-PointPillars
AP: 52.23 %
birds-eye-view-object-detection-on-kitti-16Frustrum-PointPillars
AP: 60.98 %
birds-eye-view-object-detection-on-kitti-17Frustrum-PointPillars
AP: 48.30 %
object-localization-on-kitti-pedestrian-easyFrustrum-PointPillars
AP: 60.98 %
object-localization-on-kitti-pedestriansFrustrum-PointPillars
AP: 52.23 %
object-localization-on-kitti-pedestrians-hardFrustrum-PointPillars
AP: 48.30 %

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
视锥-PointPillars:一种基于RGB相机与LiDAR的多阶段3D目标检测方法 | 论文 | HyperAI超神经