3 个月前

M4Depth:面向未知环境的自动驾驶车辆单目深度估计

M4Depth:面向未知环境的自动驾驶车辆单目深度估计

摘要

在无法使用深度传感器的情况下,准确估计物体距离对自动驾驶车辆至关重要。此时,必须依赖车载安装的RGB相机来估算距离,这一任务在自然户外环境等复杂场景中尤为具有挑战性。本文提出一种名为M4Depth的新方法,用于深度估计。首先,我们建立深度与连续两帧图像之间视觉视差之间的双射关系,并阐明如何利用该关系实现运动不变的逐像素深度估计。随后,我们详细介绍M4Depth方法,该方法基于一种分层卷积神经网络架构,每一层级通过两个定制化的代价体(cost volumes)对输入的视差图估计进行逐步优化。这些代价体旨在利用运动所施加的时空视觉约束,从而提升网络在多样化场景下的鲁棒性。我们在多个公开数据集上对所提方法进行了测试与泛化能力评估,这些数据集包含在多种户外场景中录制的合成相机轨迹。实验结果表明,M4Depth在上述数据集上的表现优于现有最先进方法,同时在标准深度估计基准测试中也展现出优异性能。本文方法的代码已公开,可访问 https://github.com/michael-fonder/M4Depth 获取。

代码仓库

michael-fonder/M4Depth
官方
tf
GitHub 中提及

基准测试

基准方法指标
monocular-depth-estimation-on-mid-air-datasetM4Depth-d6 (VMD)
Abs Rel: 0.1425
RMSE: 8.8641
RMSE log: 0.24571
SQ Rel: 3.6798

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
M4Depth:面向未知环境的自动驾驶车辆单目深度估计 | 论文 | HyperAI超神经