摘要

深度估计是生成深度图的关键任务，而深度图是增强现实（AR）及其他应用中最核心的组成部分之一。然而，当前广泛应用于AR设备和智能手机中的硬件仅配备稀疏深度传感器，且其真实深度数据的获取方式各不相同。因此，为确保下游AR任务的性能，只能依赖基于相机信息的自监督学习方法，可靠地训练深度估计模型。以往相关研究多集中于纯卷积架构的自监督模型，未能充分考虑全局空间上下文信息。本文提出VTDepth，一种基于视觉Transformer架构的自监督单目深度估计模型，旨在解决全局空间上下文建模的问题。我们系统比较了多种卷积与Transformer架构的组合方式在自监督深度估计中的表现，结果表明，性能最优的模型结构为基于Transformer的编码器配合卷积解码器。实验结果表明，VTDepth在自监督深度估计任务中具有显著效率。所提出的模型在NYUv2和KITTI数据集上的自监督学习任务中均达到了当前最优（state-of-the-art）性能。相关代码已开源，地址为：https://github.com/ahbpp/VTDepth。