摘要

立体激光雷达（LiDAR）融合是一项前景广阔的任务，因为它可以利用两种不同类型的三维感知技术进行实际应用——密集的三维信息（立体相机）和高精度的稀疏点云（LiDAR）。然而，由于它们的不同模态和结构，传感器数据对齐的方法是实现成功融合的关键。为此，我们提出了一种几何感知的立体激光雷达融合网络，用于远程深度估计，称为体传播网络（Volumetric Propagation Network）。该网络的核心思想是在统一的三维空间中利用稀疏且精确的点云作为引导立体图像对应关系的线索。与现有的融合策略不同，我们将点云直接嵌入到体积中，这使得我们能够在体积内将有效信息传播到邻近的体素，并减少对应关系的不确定性。因此，它能够无缝地融合两种不同的输入模态，并回归出一个远程深度图。我们的融合方法进一步通过一种新提出的由图像引导的点云特征提取层——FusionConv得到了增强。FusionConv 提取了同时考虑语义（二维图像域）和几何（三维域）关系的点云特征，并在体积层面辅助融合。我们的网络在 KITTI 和 Virtual-KITTI 数据集上实现了当前立体激光雷达融合方法中的最先进性能。