摘要

本文针对全景语义分割这一研究尚不充分的领域，聚焦于两个关键挑战：（1）全景图像中存在的图像畸变与物体形变问题；（2）360°全景影像中缺乏语义标注。为应对上述挑战，本文提出以下三项核心贡献：首先，我们设计了面向全景语义分割的升级版Transformer模型——Trans4PASS+，其引入了可变形块嵌入（Deformable Patch Embedding, DPE）与可变形MLP（Deformable MLP, DMLPv2）模块，能够有效处理在适应前后任意阶段（适应前或适应后）以及在浅层或深层网络中出现的物体形变与图像畸变问题。其次，我们通过伪标签校正机制对互信息原型自适应（Mutual Prototypical Adaptation, MPA）策略进行增强，以提升无监督域自适应全景语义分割的性能。第三，除传统的针孔相机到全景（Pinhole-to-Panoramic, Pin2Pan）适应范式外，我们构建了一个全新的数据集SynPASS，包含9,080张全景图像，支持从合成到真实的（Synthetic-to-Real, Syn2Real）适应方案在360°影像中的应用。本文开展了大量实验，涵盖室内与室外多种场景，并分别在Pin2Pan与Syn2Real两种适应范式下进行系统评估。实验结果表明，Trans4PASS+在四个域自适应全景语义分割基准上均取得了当前最优的性能表现。代码已开源，地址为：https://github.com/jamycheung/Trans4PASS。