4 个月前

使用高效注意力柱状网络实现准确实时的三维行人检测

使用高效注意力柱状网络实现准确实时的三维行人检测

摘要

高效且准确地从三维点云数据中检测行人对于许多机器人和自动驾驶应用至关重要。这一基本感知任务仍然非常具有挑战性,原因包括:(i) 人体姿态和手势随时间发生显著变形;(ii) 行人类物体在点云中的稀疏性和数据量不足。近期的高效三维目标检测方法依赖于柱状特征来从点云数据中检测物体。然而,这些柱状特征并不具备足够的表达能力来应对上述所有挑战,尤其是在检测行人方面。为了解决这一问题,我们首先引入了一种可堆叠的柱状特征感知注意力(PAA)模块,以增强柱状特征提取并抑制点云中的噪声。通过将多点通道池化、逐点、逐通道以及任务感知注意力机制整合到一个简单的模块中,该模块在几乎不增加计算资源的情况下提升了表示能力。此外,我们还提出了Mini-BiFPN,这是一种小巧但有效的特征网络,能够创建双向信息流和多层级跨尺度特征融合,从而更好地整合多分辨率特征。我们提出的框架称为PiFeNet,在三个流行的大型3D行人检测数据集(即KITTI、JRDB和nuScenes)上进行了评估,在KITTI鸟瞰图(BEV)和JRDB上达到了最先进的(SOTA)性能,在nuScenes上也表现出很强的竞争力。我们的方法具有每秒26帧(FPS)的推理速度,使其成为实时检测器。PiFeNet的代码可在https://github.com/ldtho/PiFeNet 获取。

代码仓库

ldtho/pifenet
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
3d-object-detection-on-kitti-pedestrian-1PiFeNet
Average Precision: 0.4671
3d-object-detection-on-kitti-pedestrian-2PiFeNet
mAP: 0.486
3d-object-detection-on-kitti-pedestrian-easy-1PiFeNet
Average Precision: 0.5639
3d-object-detection-on-kitti-pedestrian-hard-1PiFeNet
Average Precision: 0.4271
birds-eye-view-object-detection-on-kitti-10PiFeNet
Average Precision: 0.6325
birds-eye-view-object-detection-on-kitti-11PiFeNet
Average Precision: 0.5392
birds-eye-view-object-detection-on-kitti-12PiFeNet
Average Precision: 0.5053
birds-eye-view-object-detection-on-kitti-13PiFeNet
mAP: 0.559

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
使用高效注意力柱状网络实现准确实时的三维行人检测 | 论文 | HyperAI超神经