摘要

在自动驾驶场景中，语义感知对于智能交通系统具有至关重要的作用。然而，现有的基于Transformer的语义分割方法在动态理解驾驶场景方面尚未充分发挥其潜力。这些方法通常缺乏空间推理能力，无法有效关联图像像素与其空间位置，从而导致注意力漂移问题。为解决这一挑战，本文提出一种新型架构——分层空间感知Transformer（Hierarchical Spatial Perception Transformer, HSPFormer），首次将单目深度估计与语义分割整合至统一框架中。我们设计了空间深度感知辅助网络（Spatial Depth Perception Auxiliary Network, SDPNet），用于多尺度特征提取与多层级深度图预测，以建立分层的空间一致性。此外，我们提出了分层金字塔Transformer网络（Hierarchical Pyramid Transformer Network, HPTNet），利用深度估计作为可学习的位置嵌入，构建具有空间关联性的语义表征，并生成全局上下文信息。在KITTI-360、Cityscapes和NYU Depth V2等基准数据集上的实验结果表明，HSPFormer显著优于多种先进网络，在KITTI-360上达到66.82%的Top-1 mIoU，在Cityscapes上达到83.8%的mIoU，在NYU Depth V2上达到57.7%的mIoU，展现出优异的性能。代码将公开发布于 https://github.com/SY-Ch/HSPFormer。