3 个月前

GCNDepth:基于图卷积网络的自监督单目深度估计

GCNDepth:基于图卷积网络的自监督单目深度估计

摘要

深度估计是三维重建中一项具有挑战性的任务,旨在提升环境感知的精度。本文提出了一种新的解决方案,通过一系列改进,显著增强了深度图在定量与定性层面的理解能力,相较于现有方法具有明显优势。近年来,卷积神经网络(CNN)在从单目视频中估计深度图方面展现出卓越性能。然而,传统CNN无法处理拓扑结构信息,仅适用于具有固定尺寸和权重的规则图像区域。相比之下,图卷积网络(GCN)能够对非欧几里得数据进行卷积操作,适用于具有拓扑结构的不规则图像区域。因此,在本研究中,为更好地保留物体的几何外观及其空间分布特征,我们致力于利用GCN构建一种自监督深度估计模型。本模型由两个并行的自编码器网络组成:第一个网络基于ResNet-50提取输入图像的特征,并结合多尺度图卷积网络(GCN)进行深度图估计;第二个网络则基于ResNet-18,用于估计连续两帧之间的自运动矢量(即三维姿态)。所估计的三维姿态与深度图共同用于重构目标图像。为应对深度预测中的误差并有效保留物体边界的不连续性,模型采用融合光度损失、投影损失与平滑性损失的组合损失函数。实验结果表明,本方法在公开的KITTI和Make3D数据集上均取得了具有竞争力且令人鼓舞的性能,深度预测准确率高达89%,同时相比当前最优方法,可训练参数数量减少了40%。项目源代码已公开,获取地址为:https://github.com/ArminMasoumian/GCNDepth.git。

代码仓库

arminmasoumian/gcndepth
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
monocular-depth-estimation-on-kitti-2GCNDepth
absolute relative error: 0.104
monocular-depth-estimation-on-kitti-eigenGCNDepth
Delta u003c 1.25: 0.888
Delta u003c 1.25^2: 0.965
Delta u003c 1.25^3: 0.984
RMSE: 4.494
RMSE log: 0.181
absolute relative error: 0.104
monocular-depth-estimation-on-kitti-eigen-1GCNDepth
RMSE: 4.494
RMSE log: 0.181
Sq Rel: 0.720
absolute relative error: 0.104
monocular-depth-estimation-on-make3dGCNDepth
Abs Rel: 0.424
RMSE: 6.757
Sq Rel: 3.075

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
GCNDepth:基于图卷积网络的自监督单目深度估计 | 论文 | HyperAI超神经