4 个月前

从大到小:单目深度估计的多尺度局部平面引导

从大到小:单目深度估计的多尺度局部平面引导

摘要

从单张图像中准确估计深度是一个具有挑战性的任务,因为这是一个病态问题(ill-posed problem),即无数个3D场景可以投影到同一个2D场景上。然而,基于深度卷积神经网络的最新研究显示了显著的进步,并取得了合理的结果。卷积神经网络通常由两部分组成:一个用于密集特征提取的编码器和一个用于预测所需深度的解码器。在编码器-解码器方案中,重复的步幅卷积层和空间池化层会降低中间输出的空间分辨率,因此采用了跳过连接(skip connections)或多层反卷积网络等技术来恢复原始分辨率,以实现有效的密集预测。本文提出了一种新的网络架构,在解码阶段的多个阶段引入了新颖的局部平面引导层(local planar guidance layers),以便更有效地将密集编码的特征引导至所需的深度预测。我们通过在具有挑战性的基准数据集上的评估表明,所提出的方法显著优于现有最先进方法。此外,我们还提供了消融研究的结果,以验证所提方法的有效性。

代码仓库

jiao0805/bts4
tf
GitHub 中提及
cogaplex-bts/bts
官方
tf
GitHub 中提及
cleinc/bts
pytorch
GitHub 中提及
shuweishao/iebins
pytorch
GitHub 中提及
rnlee1998/bts
pytorch
GitHub 中提及
northeastsquare/bts
tf
GitHub 中提及
TWJianNuo/EdgeDepth-Release
pytorch
GitHub 中提及
saeid-h/bts-fully-tf
tf
GitHub 中提及
Navhkrin/Bts-PyTorch
pytorch
GitHub 中提及
ShuweiShao/NDDepth
pytorch
GitHub 中提及
ku-cvlab/maskingdepth
pytorch
GitHub 中提及

基准测试

基准方法指标
depth-estimation-on-nyu-depth-v2BTS
RMS: 0.407
monocular-depth-estimation-on-kitti-eigenBTS
absolute relative error: 0.064
monocular-depth-estimation-on-nyu-depth-v2BTS
Delta u003c 1.25^3: 0.995
RMSE: 0.392

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供