摘要

三维目标检测因其在多个领域的广泛应用，正受到工业界与学术界的日益关注。本文提出了一种面向点云数据的三维目标检测方法——基于点-体素的区域卷积神经网络（Point-Voxel Region-based Convolutional Neural Networks, PV-RCNNs）。首先，我们提出了一种新型三维检测器PV-RCNN，通过两个创新步骤——体素到关键点的场景编码（voxel-to-keypoint scene encoding）以及关键点到网格的感兴趣区域（RoI）特征抽象（keypoint-to-grid RoI feature abstraction），深度融合基于点集抽象（point-based set abstraction）与基于体素稀疏卷积（voxel-based sparse convolution）的特征学习能力，显著提升了三维检测性能。其次，我们进一步提出了一种更高效、更精确的框架PV-RCNN++，包含两大改进：一是分扇区的提议中心采样策略（sectorized proposal-centric sampling），可高效生成更具代表性的关键点；二是VectorPool聚合机制（VectorPool aggregation），能够在大幅降低资源消耗的前提下，更优地聚合局部点特征。得益于上述两项策略，PV-RCNN++的推理速度相比PV-RCNN提升约3倍，同时在检测性能上也取得进一步突破。实验结果表明，所提出的PV-RCNN++框架在大规模且极具挑战性的Waymo Open Dataset上达到了当前最优的三维检测性能，在150米×150米的检测范围内实现了10 FPS的推理速度。