摘要

基于卷积神经网络（CNN）的现有全景深度估计方法主要致力于消除全景图像中的畸变问题，但由于CNN固有的感受野限制，难以高效地感知全景结构。本文提出一种名为PanoFormer的全景Transformer模型，用于全景图像的深度估计。该方法引入球面切平面域上的切片块（tangent patches）、可学习的令牌流动机制以及专为全景设计的度量标准。具体而言，我们将球面切平面域上的图像块划分为令牌（tokens），以降低全景畸变带来的负面影响。鉴于几何结构对深度估计至关重要，本文重新设计了自注意力模块，并引入额外的可学习令牌流动机制，以增强模型对结构信息的捕捉能力。此外，考虑到球面域的特性，本文提出了两种专为全景深度估计设计的评估指标，以更全面地衡量模型性能。大量实验结果表明，所提方法显著优于当前最先进的（SOTA）方法。进一步实验还证明，该方法可有效扩展至解决语义全景分割这一类似的像素级到像素级任务。相关代码将公开发布。