
摘要
单目深度估计器可通过从双目立体数据中获取的多种自监督信号进行训练,从而避免依赖高质量的激光扫描或其他真实深度数据。然而,其缺点在于,自监督学习中常用的光度重投影损失通常存在多个局部极小值。这些看似合理但并非真实值的替代解会限制回归网络的学习能力,导致预测的深度图质量受限。以当前最先进方法为例,其在细小结构周围的深度不连续区域常出现错误估计。本文研究了基于双目自监督进行深度预测时存在的模糊重投影问题,并提出了“深度提示”(Depth Hints)以缓解该问题的影响。深度提示是通过简单现成的双目立体匹配算法获得的互补深度建议。这些提示被用于增强现有的光度损失函数,引导网络学习更优的权重。该方法无需额外数据,且仅在部分情况下假设提示正确。实验表明,使用我们的深度提示可显著提升多个主流自监督双目深度模型的训练效果,而不仅限于我们自身的方法。进一步结合其他先进训练策略,我们在KITTI基准测试上实现了当前最优的深度预测性能。
代码仓库
nianticlabs/depth-hints
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| monocular-depth-estimation-on-kitti-eigen | Depth Hints | absolute relative error: 0.096 |
| monocular-depth-estimation-on-va | Depth Hints | Absolute relative error (AbsRel): 0.197 Log root mean square error (RMSE_log): 0.248 Mean average error (MAE) : 0.291 Root mean square error (RMSE): 0.427 |