3 个月前

自监督单目深度提示

自监督单目深度提示

摘要

单目深度估计器可通过从双目立体数据中获取的多种自监督信号进行训练,从而避免依赖高质量的激光扫描或其他真实深度数据。然而,其缺点在于,自监督学习中常用的光度重投影损失通常存在多个局部极小值。这些看似合理但并非真实值的替代解会限制回归网络的学习能力,导致预测的深度图质量受限。以当前最先进方法为例,其在细小结构周围的深度不连续区域常出现错误估计。本文研究了基于双目自监督进行深度预测时存在的模糊重投影问题,并提出了“深度提示”(Depth Hints)以缓解该问题的影响。深度提示是通过简单现成的双目立体匹配算法获得的互补深度建议。这些提示被用于增强现有的光度损失函数,引导网络学习更优的权重。该方法无需额外数据,且仅在部分情况下假设提示正确。实验表明,使用我们的深度提示可显著提升多个主流自监督双目深度模型的训练效果,而不仅限于我们自身的方法。进一步结合其他先进训练策略,我们在KITTI基准测试上实现了当前最优的深度预测性能。

代码仓库

nianticlabs/depth-hints
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
monocular-depth-estimation-on-kitti-eigenDepth Hints
absolute relative error: 0.096
monocular-depth-estimation-on-vaDepth Hints
Absolute relative error (AbsRel): 0.197
Log root mean square error (RMSE_log): 0.248
Mean average error (MAE) : 0.291
Root mean square error (RMSE): 0.427

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
自监督单目深度提示 | 论文 | HyperAI超神经