
摘要
从二维图像中推断深度信息是计算机视觉领域的一个基本逆问题,因为深度信息是从无限多的可能性中观察到的真实场景生成的2D图像中获得的。得益于卷积神经网络(CNNs)在探索结构特征和空间图像信息方面的进展,单幅图像深度估计(SIDE)经常被突出强调为科学和技术创新的一个重要方向,这一概念因其较低的实现成本和对环境条件的强大适应性而具有显著优势。在自动驾驶汽车的背景下,最先进的CNN通过生成高质量的深度图来优化SIDE任务,这些深度图在不同地点的自主导航过程中至关重要。然而,这类网络通常由来自光探测和测距(LiDAR)激光扫描的稀疏且有噪声的深度数据监督,并且需要高性能图形处理单元(GPU)进行高计算成本的操作。因此,我们提出了一种新的轻量级且快速的监督CNN架构,并结合了专为现实世界自主导航设计的新颖特征提取模型。我们还引入了一个高效的表面法线模块,并结合一个简单的几何2.5D损失函数来解决SIDE问题。此外,我们在框架训练中创新性地融合了多种深度学习技术,如稠密化算法以及额外的语义、表面法线和深度信息。本文介绍的方法主要针对室内外环境中的机器人应用,并在其结果上使用竞争性和公开可用的NYU Depth V2和KITTI Depth数据集进行了评估。
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| depth-completion-on-kitti-depth-completion-1 | DSN | REL: 0.019 RMSE: 1.588 |
| depth-completion-on-nyu-depth-v2 | DSN | REL: 0.012 RMSE: 0.102 |
| monocular-depth-estimation-on-kitti-eigen | DSN | absolute relative error: 0.075 |
| monocular-depth-estimation-on-nyu-depth-v2 | DSN | RMSE: 0.429 |
| surface-normals-estimation-on-nyu-depth-v2 | DSN | RMSE: 12.2 |