3 个月前

单目自监督深度估计中的多模态尺度一致性与感知

单目自监督深度估计中的多模态尺度一致性与感知

摘要

稠密深度估计对于自动驾驶中的场景理解至关重要。然而,近期基于单目视频的自监督方法在长序列中普遍存在尺度不一致的问题。为解决这一挑战,本文利用广泛存在的全球定位系统(GPS)数据,提出一种动态加权的GPS到尺度(g2s)损失函数,以补充基于外观的损失函数。值得注意的是,GPS数据仅在多模态训练阶段使用,推理阶段无需依赖。通过GPS获取的帧间相对距离提供了与相机配置和场景分布无关的尺度信号,从而促进学习到更具表现力的特征表示。在多个数据集上的大量实验表明,所提方法在推理阶段实现了尺度一致且具备尺度感知能力的深度估计,即使在使用低频GPS数据训练的情况下,仍能显著提升性能。

代码仓库

NeurAI-Lab/G2S
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
monocular-depth-estimation-on-kitti-eigen-1G2S (MD2-M-R18-pp-640 x 192)
absolute relative error: 0.109

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
单目自监督深度估计中的多模态尺度一致性与感知 | 论文 | HyperAI超神经