摘要

深度补全技术，即从稀疏深度测量中估计出密集深度图像，广泛应用于机器人技术和自动驾驶领域。然而，深度补全面临三个主要挑战：稀疏深度输入中的不规则分布模式、在有彩色图像时处理多传感器模态的难度，以及缺乏密集的像素级地面真值深度标签。在本研究中，我们解决了所有这些挑战。具体而言，我们开发了一种深度回归模型，用于学习从稀疏深度（及彩色图像）到密集深度的直接映射关系。此外，我们提出了一种自监督训练框架，该框架仅需彩色和稀疏深度图像序列作为输入，无需密集深度标签。实验结果表明，当使用半密集注释进行训练时，我们的网络达到了当前最先进的精度，并且在提交时成为了KITTI深度补全基准测试中的优胜方法。进一步地，自监督框架的表现优于多个使用半密集注释训练的现有解决方案。