4 个月前

基于左右一致性约束的无监督单目深度估计

基于左右一致性约束的无监督单目深度估计

摘要

基于学习的方法在单幅图像深度估计任务中已经展现出非常有前景的结果。然而,大多数现有的方法将深度预测视为一个监督回归问题,因此需要大量的对应真实深度数据进行训练。仅在各种环境中记录高质量的深度数据就是一个具有挑战性的问题。本文中,我们超越了现有方法,用更容易获取的双目立体视频替换了训练过程中显式的深度数据。我们提出了一种新的训练目标,使我们的卷积神经网络能够在没有真实深度数据的情况下学习执行单幅图像深度估计。通过利用视极几何约束,我们通过图像重建损失来训练网络以生成视差图。我们发现,仅解决图像重建问题会导致质量较差的深度图。为了解决这一问题,我们提出了一种新的训练损失函数,该函数强制左右图像之间产生的视差具有一致性,从而相比现有方法提高了性能和鲁棒性。我们的方法在KITTI驾驶数据集上产生了单目深度估计的最先进结果,甚至超过了使用真实深度数据进行训练的监督方法。

代码仓库

Lebhoryi/learn_monodepth
tf
GitHub 中提及
apllolulu/monodepth
tf
GitHub 中提及
mrharicot/monodepth
官方
tf
GitHub 中提及
rickgroen/depthgan
pytorch
GitHub 中提及
vinceecws/Monodepth
pytorch
GitHub 中提及
OniroAI/MonoDepth-PyTorch
pytorch
GitHub 中提及
Yc174/monodepth
tf
GitHub 中提及
vita-epfl/monoloco
pytorch
GitHub 中提及
SharhadBashar/Depth-Percetion
pytorch
GitHub 中提及
muskie82/CNN-DSO
tf
GitHub 中提及
IcarusWizard/monodepth-paddle
paddle
GitHub 中提及
alwynmathew/monodepth-pytorch
pytorch
GitHub 中提及

基准测试

基准方法指标
monocular-depth-estimation-on-kitti-eigen-1Monodepth S
absolute relative error: 0.133
monocular-depth-estimation-on-mid-air-datasetMonodepth
Abs Rel: 0.3136
RMSE: 13.595
RMSE log: 0.4380
SQ Rel: 8.7127

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于左右一致性约束的无监督单目深度估计 | 论文 | HyperAI超神经