摘要

我们提出了一种新颖且高性能的3D目标检测框架，命名为PointVoxel-RCNN（PV-RCNN），用于从点云中进行精确的3D目标检测。所提出的方法深入结合了3D体素卷积神经网络（CNN）和基于PointNet的集合抽象，以学习更具区分性的点云特征。该方法充分利用了3D体素CNN高效的学习能力和高质量的候选框生成能力，以及基于PointNet的网络灵活的感受野。具体而言，所提出的框架通过一种新型的体素集合抽象模块，利用3D体素CNN将3D场景总结为少量的关键点，从而节省后续计算并编码代表性场景特征。鉴于由体素CNN生成的高质量3D候选框，我们提出了RoI网格池化方法，通过关键点集合抽象和多个感受野将提案特定特征从关键点抽象到RoI网格点。与传统的池化操作相比，RoI网格特征点编码了更丰富的上下文信息，有助于准确估计目标置信度和位置。在KITTI数据集和Waymo开放数据集上的大量实验表明，仅使用点云的情况下，我们的PV-RCNN显著超越了现有的最先进3D检测方法。代码可在https://github.com/open-mmlab/OpenPCDet 获取。