
摘要
逐像素获取地面真实深度数据在大规模应用中具有挑战性。为了解决这一限制,自监督学习作为一种有前景的替代方法,已用于训练模型以执行单目深度估计。在本文中,我们提出了一系列改进措施,这些改进措施共同使得生成的深度图在定量和定性方面均优于现有的自监督方法。单目自监督训练的研究通常探索越来越复杂的架构、损失函数和图像形成模型,这些方法最近帮助缩小了与全监督方法之间的差距。我们展示了令人惊讶的是,一个相对简单的模型及其相关设计选择可以产生更优的预测结果。具体而言,我们提出了(i)最小重投影损失(minimum reprojection loss),旨在稳健地处理遮挡问题;(ii)全分辨率多尺度采样方法(full-resolution multi-scale sampling method),该方法减少了视觉伪影;以及(iii)自动掩码损失(auto-masking loss),用于忽略违反相机运动假设的训练像素。我们在独立验证每个组件的有效性,并在KITTI基准测试上展示了高质量、最先进的结果。
代码仓库
FangGet/tf-monodepth2
tf
GitHub 中提及
XXXVincent/MonoDepth2
pytorch
GitHub 中提及
NiallEHunt/MonocularDepth-Using-LightFields
pytorch
GitHub 中提及
TWJianNuo/panoptic-scene-understanding
pytorch
GitHub 中提及
minghanz/DepthC3D
pytorch
GitHub 中提及
isennkubilay/monodepth2_tf
tf
GitHub 中提及
nianticlabs/monodepth2
官方
pytorch
GitHub 中提及
iodncookie/my_loss_monodepth_master
tf
GitHub 中提及
rnlee1998/SRD
pytorch
GitHub 中提及
IcarusWizard/monodepth2-paddle
paddle
GitHub 中提及
tudelft/filled-disparity-monodepth
tf
GitHub 中提及
CaptainEven/MonoDepthV2
pytorch
GitHub 中提及
qrzyang/pseudo-stereo
pytorch
GitHub 中提及
TanyaChutani/Monodepth-Tf2.x
tf
GitHub 中提及
jzwqaq/monodepth_jzw
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| camera-pose-estimation-on-kitti-odometry | Monodepth2 | Absolute Trajectory Error [m]: 93.04 Average Rotational Error er[%]: 20.72 Average Translational Error et[%]: 43.21 |
| monocular-depth-estimation-on-kitti-eigen | monodepth2 M | absolute relative error: 0.106 |
| monocular-depth-estimation-on-make3d | Monodepth2 | Abs Rel: 0.322 RMSE: 7.417 Sq Rel: 3.589 |
| monocular-depth-estimation-on-mid-air-dataset | Monodepth2 | Abs Rel: 0.717 RMSE: 74.552 RMSE log: 0.882 SQ Rel: 37.164 |
| monocular-depth-estimation-on-va | MonoDepth2 | Absolute relative error (AbsRel): 0.203 Log root mean square error (RMSE_log): 0.251 Mean average error (MAE) : 0.295 Root mean square error (RMSE): 0.432 |