3 个月前

Struct-MDC:基于视觉SLAM结构规律的网格精炼无监督深度补全

Struct-MDC:基于视觉SLAM结构规律的网格精炼无监督深度补全

摘要

基于特征的视觉同步定位与地图构建(SLAM)方法仅能估计提取特征的深度,生成稀疏的深度图。为解决这一稀疏性问题,从稀疏深度图中恢复稠密深度的深度补全(depth completion)任务在机器人探索等应用中变得愈发重要。现有方法主要利用视觉SLAM生成的稀疏深度信息,且多依赖于点特征。然而,在无纹理环境或特征稀疏的情况下,点特征难以有效保持结构规律性。针对上述问题,本文提出一种基于线特征的深度补全方法,相较于点特征,线特征能更有效地表征场景的结构规律。所提出的方法通过结合线特征进行深度插值,并采用约束Delaunay三角剖分构建凸包区域,从而生成初始深度图。然而,该方法生成的深度图包含低频信息,且在凸包边界处存在不连续现象。为此,本文进一步提出一种网格深度精炼(Mesh Depth Refinement, MDR)模块,以有效解决上述问题。MDR模块能够将输入图像中的高频细节信息精准传递至插值后的深度图中,在连接传统方法与基于深度学习的方法之间起到关键桥梁作用。在公开数据集及自建数据集上的实验结果表明,所提出的Struct-MDC方法在多项指标上优于现有最先进算法,甚至在部分指标上超越了监督学习方法的表现。此外,通过严谨的消融实验,本文进一步验证了所提出的MDR模块的有效性与贡献。

代码仓库

url-kaist/Struct-MDC
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
depth-completion-on-nyu-depth-v2Struct-MDC
RMSE: 0.142
depth-completion-on-pladStruct-MDC
MAE: 1170.303
RMSE: 1481.583
depth-completion-on-void-150Struct-MDC
MAE: 111.332
RMSE: 216.497

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
Struct-MDC:基于视觉SLAM结构规律的网格精炼无监督深度补全 | 论文 | HyperAI超神经