摘要

理解三维世界是城市自动驾驶的关键组成部分。通常情况下，昂贵的激光雷达（LiDAR）传感器与立体RGB成像的结合对于成功的三维目标检测算法至关重要，而仅依赖单目图像的方法则性能大幅下降。我们提出通过将单目三维检测问题重新表述为独立的三维区域提议网络来缩小这一差距。我们利用了二维和三维视角之间的几何关系，使得三维框能够利用在图像空间中生成的已知且强大的卷积特征。为了帮助解决复杂的三维参数估计问题，我们进一步设计了深度感知卷积层，这些层能够实现位置特定的特征开发，从而提高对三维场景的理解能力。与以往的单目三维检测工作相比，我们的方法仅包含所提出的三维区域提议网络，而不依赖外部网络、数据或多个阶段。M3D-RPN能够在KITTI城市自动驾驶数据集中显著提升单目三维目标检测和俯视图任务的性能，同时高效地使用共享多类模型。