3 个月前

VoxelNeXt:面向3D目标检测与跟踪的全稀疏体素网络

VoxelNeXt:面向3D目标检测与跟踪的全稀疏体素网络

摘要

三维目标检测方法通常依赖于人工设计的代理(如锚框或中心点),并将经过充分研究的二维检测框架迁移到三维场景中。因此,稀疏体素特征需要经过密集化处理,并由密集的预测头进行运算,这不可避免地带来额外的计算开销。本文提出了一种全新的全稀疏三维目标检测框架——VoxelNeXt。其核心思想是直接基于稀疏体素特征进行目标预测,无需依赖人工设计的代理。我们提出的强健稀疏卷积网络VoxelNeXt完全通过体素特征实现三维目标的检测与跟踪,结构简洁高效,无需进行稀疏到密集的转换,也无需非极大值抑制(NMS)后处理。在nuScenes数据集上,该方法在速度与精度的权衡上优于现有主流检测器。本文首次证明,基于全稀疏体素的表示方法在激光雷达三维目标检测与跟踪任务中具有良好的性能表现。在nuScenes、Waymo和Argoverse2等多个基准数据集上的大量实验验证了本方法的有效性。在不依赖任何额外技巧的情况下,我们的模型在nuScenes跟踪测试基准上超越了所有现有的激光雷达检测方法。

代码仓库

dvlab-research/VoxelNeXt
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
3d-multi-object-tracking-on-nuscenes-lidarVoxelNeXt
AMOTA: 71.0
3d-object-detection-on-argoverse2VoxelNeXt
mAP: 30.7

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
VoxelNeXt:面向3D目标检测与跟踪的全稀疏体素网络 | 论文 | HyperAI超神经