3 个月前

DiPE:深入探究光度误差以实现单目视频中深度与自运动的无监督学习

DiPE:深入探究光度误差以实现单目视频中深度与自运动的无监督学习

摘要

从无标签单目视频中进行无监督深度与自运动估计近年来受到广泛关注,该方法避免了在监督学习中对昂贵真实标注数据的依赖。其核心思想是利用目标视图与由相邻源视图合成的视图之间的光度误差作为损失函数。尽管取得了显著进展,该方法仍面临遮挡和场景动态变化带来的挑战。本文表明,通过精心设计的光度误差处理策略,可更有效地应对上述难题。主要改进在于引入一种统计技术,能够自动屏蔽光度误差图中不可见或非静态的像素,从而避免误导网络学习。该异常值掩码方法显著提升了对与相机运动方向相反的移动物体的深度估计精度。据我们所知,以往的研究尚未充分考虑此类场景,而这类情况在自动驾驶等实际应用中具有更高的风险。此外,本文还提出一种高效的加权多尺度策略,有效降低了预测深度图中的伪影。在KITTI数据集上的大量实验验证了所提方法的有效性。整体系统在深度估计与自运动估计任务上均达到了当前最优性能。

代码仓库

HalleyJiang/DiPE
官方
pytorch

基准测试

基准方法指标
monocular-depth-estimation-on-kitti-eigenDiPE
absolute relative error: 0.112

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
DiPE:深入探究光度误差以实现单目视频中深度与自运动的无监督学习 | 论文 | HyperAI超神经