摘要

在本研究中，我们提出了一种新颖的方法，称为\emph{截锥卷积网络（Frustum ConvNet，简称F-ConvNet）}，用于从点云中进行非模态3D物体检测。给定RGB图像中的2D区域建议，我们的方法首先为每个区域建议生成一系列截锥，并利用这些截锥对局部点进行分组。F-ConvNet将点级特征聚合为截锥级别的特征向量，并将这些特征向量排列成特征图，供其后续的全卷积网络（Fully Convolutional Network, FCN）组件使用，该组件在空间上融合了截锥级别的特征，并支持在3D空间中进行端到端和连续的方向框估计。我们还提出了F-ConvNet的几种组件变体，包括一种提取多分辨率截锥特征的FCN变体以及在缩减的3D空间中更精细地使用F-ConvNet的方法。详尽的消融研究表明了这些组件变体的有效性。F-ConvNet不需要任何关于工作3D环境的先验知识，因此具有数据集无关性。我们在室内SUN-RGBD数据集和室外KITTI数据集上进行了实验。结果表明，F-ConvNet在SUN-RGBD数据集上的表现优于所有现有方法，在提交时也在KITTI基准测试上超越了所有已发表的工作。代码已公开发布于：{\url{https://github.com/zhixinwang/frustum-convnet}}。