摘要

基于立体视觉的3D检测旨在通过中间深度图或隐式3D几何表示从立体图像中检测3D物体边界框，这为3D感知提供了一种低成本解决方案。然而，其性能仍不及基于激光雷达（LiDAR）的检测算法。为了准确检测和定位3D边界框，基于激光雷达的模型可以从激光雷达点云中编码出精确的物体边界和表面法线方向。然而，由于立体匹配的局限性，基于立体视觉的检测器的结果容易受到错误深度特征的影响。为了解决这一问题，我们提出了LIGA-Stereo（LiDAR Geometry Aware Stereo Detector），该方法在基于激光雷达的检测模型提供的高层次几何感知表示的指导下学习基于立体视觉的3D检测器。此外，我们发现现有的基于体素的立体检测器无法从间接的3D监督中有效学习语义特征。因此，我们在模型中附加了一个辅助2D检测头以提供直接的2D语义监督。实验结果表明，上述两种策略提高了几何和语义表示能力。在官方KITTI基准测试中，与最先进的立体检测器相比，我们的方法分别将汽车、行人和骑车人的3D检测性能提升了10.44%、5.69%和5.97% mAP。进一步缩小了基于立体视觉和基于激光雷达的3D检测器之间的差距。