4 个月前

探究自监督单目深度估计

探究自监督单目深度估计

摘要

逐像素获取地面真实深度数据在大规模应用中具有挑战性。为了解决这一限制,自监督学习作为一种有前景的替代方法,已用于训练模型以执行单目深度估计。在本文中,我们提出了一系列改进措施,这些改进措施共同使得生成的深度图在定量和定性方面均优于现有的自监督方法。单目自监督训练的研究通常探索越来越复杂的架构、损失函数和图像形成模型,这些方法最近帮助缩小了与全监督方法之间的差距。我们展示了令人惊讶的是,一个相对简单的模型及其相关设计选择可以产生更优的预测结果。具体而言,我们提出了(i)最小重投影损失(minimum reprojection loss),旨在稳健地处理遮挡问题;(ii)全分辨率多尺度采样方法(full-resolution multi-scale sampling method),该方法减少了视觉伪影;以及(iii)自动掩码损失(auto-masking loss),用于忽略违反相机运动假设的训练像素。我们在独立验证每个组件的有效性,并在KITTI基准测试上展示了高质量、最先进的结果。

代码仓库

FangGet/tf-monodepth2
tf
GitHub 中提及
XXXVincent/MonoDepth2
pytorch
GitHub 中提及
minghanz/DepthC3D
pytorch
GitHub 中提及
isennkubilay/monodepth2_tf
tf
GitHub 中提及
nianticlabs/monodepth2
官方
pytorch
GitHub 中提及
rnlee1998/SRD
pytorch
GitHub 中提及
IcarusWizard/monodepth2-paddle
paddle
GitHub 中提及
CaptainEven/MonoDepthV2
pytorch
GitHub 中提及
qrzyang/pseudo-stereo
pytorch
GitHub 中提及
jzwqaq/monodepth_jzw
pytorch
GitHub 中提及

基准测试

基准方法指标
camera-pose-estimation-on-kitti-odometryMonodepth2
Absolute Trajectory Error [m]: 93.04
Average Rotational Error er[%]: 20.72
Average Translational Error et[%]: 43.21
monocular-depth-estimation-on-kitti-eigenmonodepth2 M
absolute relative error: 0.106
monocular-depth-estimation-on-make3dMonodepth2
Abs Rel: 0.322
RMSE: 7.417
Sq Rel: 3.589
monocular-depth-estimation-on-mid-air-datasetMonodepth2
Abs Rel: 0.717
RMSE: 74.552
RMSE log: 0.882
SQ Rel: 37.164
monocular-depth-estimation-on-vaMonoDepth2
Absolute relative error (AbsRel): 0.203
Log root mean square error (RMSE_log): 0.251
Mean average error (MAE) : 0.295
Root mean square error (RMSE): 0.432

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
探究自监督单目深度估计 | 论文 | HyperAI超神经