摘要

卷积网络（ConvNets）在语义分割任务中表现卓越，已成为自动驾驶感知系统中不可或缺的核心组件。全景相机能够提供对街景的全向视图，因此在该类系统中具有天然的适配性。然而，当前大多数用于解析城市环境的分割模型均基于常规窄视场（Field of View, FoV）图像进行设计。当这些模型直接迁移至360度全景感知任务时，其性能显著下降，例如在主流测试基准上，平均交并比（mIoU）下降高达30.0个百分点。为弥合不同成像域之间在视场范围与结构分布上的差异，本文提出高效并发注意力网络（Efficient Concurrent Attention Networks, ECANets），能够直接建模全景图像中固有的长距离依赖关系。除引入可跨360度图像延伸的注意力驱动上下文先验外，我们还通过多源与全监督学习策略优化模型训练，充分利用来自多个数据集的密集标注数据与未标注数据。为推动全景图像语义分割领域的进展，我们构建并系统评估了“野生全景语义分割”（Wild PAnoramic Semantic Segmentation, WildPASS）数据集，该数据集旨在捕捉全球范围内多样化的真实场景。基于所提出的新型网络架构、训练方案以及多源预测融合策略，我们在公开的PASS基准（mIoU达60.2%）和全新的WildPASS基准（mIoU达69.0%）上均取得了当前最优的分割性能，显著提升了全景语义分割的水平。