摘要

当前的三维物体检测方法在很大程度上受到二维检测器的影响。为了利用二维检测器中的架构，这些方法通常将三维点云转换为规则网格（即体素网格或俯视图图像），或者依赖于二维图像中的检测来提出三维边界框。很少有研究尝试直接在点云中检测物体。在这项工作中，我们回归基本原理，构建了一个尽可能通用的点云数据三维检测流水线。然而，由于数据的稀疏特性——来自三维空间中二维流形的样本——我们在直接从场景点预测边界框参数时面临一个主要挑战：三维物体中心可能远离任何表面点，因此难以一步精确回归。为了解决这一挑战，我们提出了VoteNet，这是一种基于深度点集网络和Hough投票协同作用的端到端三维物体检测网络。我们的模型以简洁的设计、紧凑的模型规模和高效率，在两个大型真实三维扫描数据集ScanNet和SUN RGB-D上实现了最先进的三维检测性能。值得注意的是，VoteNet仅使用几何信息而不依赖于彩色图像，其表现优于以往的方法。