摘要

我们提出了一种基于相机运动和通过视觉惯性里程计系统估计的稀疏深度来推断密集深度的方法。与使用激光雷达或结构光传感器生成的点云场景不同，我们的方法仅有几百到几千个点，不足以描述场景的拓扑结构。该方法首先构建场景的部分平面支架，然后利用图像和这些稀疏点来推断密集深度。我们采用了一种预测性的跨模态准则，类似于“自我监督”，通过测量时间上的光度一致性、前后姿态的一致性和与稀疏点云的几何兼容性来进行评估。此外，我们发布了首个视觉惯性+深度数据集，希望这能促进对结合视觉和惯性传感器互补优势的进一步研究。为了与先前的工作进行比较，我们采用了无监督的KITTI深度补全基准，并在该基准上展示了最先进的性能。代码可在以下地址获取：https://github.com/alexklwong/unsupervised-depth-completion-visual-inertial-odometry。