摘要

我们提出H3DNet，该模型以无颜色的三维点云作为输入，输出一组带有方向的物体边界框（Bounding Box, BB）及其语义标签。H3DNet的核心思想是预测一组混合的几何基元，即边界框中心、边界框面中心以及边界框边中心。我们通过定义物体与这些几何基元之间的距离函数，将预测的几何基元转化为物体候选区域。该距离函数支持物体候选区域的连续优化，其局部极小值点能够生成高保真度的物体候选区域。随后，H3DNet采用匹配与精炼模块，将候选区域分类为检测到的物体，并对检测到的物体的几何参数进行精细化调整。这种混合几何基元的设定不仅相较于单一类型几何基元提供了更精确的物体检测信号，还为最终的三维布局提供了过完备的约束条件，因而使模型能够有效容忍预测几何基元中的异常值。在包含真实三维扫描数据的两个大规模数据集——ScanNet和SUN RGB-D上，H3DNet均取得了当前最优的三维物体检测性能。