3 个月前

HR-Depth:高分辨率自监督单目深度估计

HR-Depth:高分辨率自监督单目深度估计

摘要

自监督学习在单目深度估计中展现出巨大潜力,仅利用图像序列作为监督信号。尽管已有研究尝试使用高分辨率图像进行深度估计,但预测精度并未得到显著提升。本文发现,其根本原因在于大梯度区域中深度估计的不准确,导致随着分辨率提升,双线性插值误差逐渐累积并难以消除。为在大梯度区域实现更精确的深度估计,必须获取兼具空间细节与语义信息的高分辨率特征。为此,本文提出一种改进的DepthNet模型——HR-Depth,包含两项有效策略:(1)重新设计DepthNet中的跳跃连接结构,以获得更优的高分辨率特征;(2)提出一种新型特征融合模块——Squeeze-and-Excitation特征融合模块(fSE),实现更高效的特征融合。以ResNet-18作为编码器时,HR-Depth在高分辨率与低分辨率场景下均以最少的参数量超越所有先前的最先进(SoTA)方法。此外,以往的最先进方法通常依赖结构复杂且参数量庞大的深层网络,严重限制了其实际应用潜力。因此,本文进一步构建了一种轻量级网络结构,采用MobileNetV3作为编码器。实验结果表明,该轻量级网络在高分辨率下的性能可与Monodepth2等大型模型相媲美,且仅需其约20%的参数量。所有代码与模型将公开于:https://github.com/shawLyu/HR-Depth。

代码仓库

shawLyu/HR-Depth
官方
pytorch

基准测试

基准方法指标
monocular-depth-estimation-on-kitti-eigen-1HR-Depth-MS-1024X320
absolute relative error: 0.101
monocular-depth-estimation-on-kitti-eigen-1Lite-HR-Depth-T-1280x384
absolute relative error: 0.104
monocular-depth-estimation-on-kitti-eigen-1HR-Depth-M-640x192
absolute relative error: 0.109
monocular-depth-estimation-on-kitti-eigen-1HR-Depth-M-1280x384
absolute relative error: 0.104

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供