4 个月前

从单张图像中学习恢复三维场景形状

从单张图像中学习恢复三维场景形状

摘要

尽管在野外单目深度估计方面取得了显著进展,但最近的最先进方法仍无法恢复准确的三维场景形状,这是由于在混合数据深度预测训练中使用的平移不变重建损失导致了未知的深度偏移,以及可能未知的相机焦距。我们详细研究了这一问题,并提出了一种两阶段框架,首先从单一单目图像预测出具有未知尺度和平移的深度,然后利用三维点云编码器预测缺失的深度偏移和焦距,从而恢复真实的三维场景形状。此外,我们提出了一种图像级别的归一化回归损失和基于法线的几何损失,以增强在混合数据集上训练的深度预测模型。我们在九个未见过的数据集上测试了我们的深度模型,并在零样本数据集泛化方面达到了最先进水平。代码可从以下链接获取:https://git.io/Depth

代码仓库

aim-uofa/AdelaiDepth
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
depth-estimation-on-diodeLeRes
Delta u003c 1.25: 0.234
depth-estimation-on-scannetv2LeReS
absolute relative error: 0.095
indoor-monocular-depth-estimation-on-diodeLeReS
Delta u003c 1.25^3: 0.900
monocular-depth-estimation-on-eth3dLeReS
Delta u003c 1.25: 0.0777
absolute relative error: 0.0171
monocular-depth-estimation-on-kitti-eigenLeReS
Delta u003c 1.25: 0.784
absolute relative error: 0.149
monocular-depth-estimation-on-nyu-depth-v2LeReS
Delta u003c 1.25: 0.916
absolute relative error: 0.09

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
从单张图像中学习恢复三维场景形状 | 论文 | HyperAI超神经