摘要

自监督单目深度预测为获取每个像素的三维位置提供了一种成本低廉的解决方案。然而，现有方法通常难以达到令人满意的精度，这对自主机器人而言至关重要。本文提出了一种名为FusionDepth的新颖两阶段网络，通过利用低成本的稀疏激光雷达（如4束激光雷达）来推进自监督单目稠密深度学习。与现有方法主要依赖耗时的迭代后处理来使用稀疏激光雷达不同，我们的模型将单目图像特征与稀疏激光雷达特征进行融合，以预测初始深度图。随后，设计了一种高效的前馈式精炼网络，在伪三维空间中对这些初始深度图中的误差进行校正，同时保持实时性能。大量实验表明，所提出的模型在自监督单目深度预测与补全任务上，显著优于所有现有的自监督方法以及基于稀疏激光雷达的方法。在KITTI排行榜的下游任务——单目3D目标检测中，得益于精确的稠密深度预测，本模型性能超越当前最先进的稀疏激光雷达方法（Pseudo-LiDAR++）超过68%。代码已开源，地址为：https://github.com/AutoAILab/FusionDepth