摘要

在自动驾驶等安全关键应用中，学习能够良好泛化至雾天条件下的场景语义具有重要意义。现有方法通常需要同时使用标注清晰图像和雾天图像来训练课程式域适应模型。然而，这些方法仅能泛化到训练阶段中曾见过的特定雾天域，而现实中的雾天场景在城市风格和雾的形态上存在显著差异。本文提出一种在域泛化（domain generalization）框架下学习雾天场景语义分割的新方法，该方法在训练阶段完全不依赖任何雾天图像，却能有效泛化至任意未见过的雾天场景。我们主张，一个理想的、可良好泛化至雾天场景的分割模型，应当同时实现三个目标：增强内容表征、解耦城市场景风格、解耦雾的风格。由于场景语义等内容信息主要集中在低频特征中，而城市场景风格与雾的风格则更多体现在高频特征中，为此，我们提出一种新颖的双向小波引导机制（Bidirectional Wavelet Guidance, BWG），以分而治之的方式协同实现上述三个目标。通过Haar小波变换，低频分量被聚焦于内容增强的自注意力模块，而高频分量则被引导至风格与雾的自注意力模块，以实现风格解耦。该机制以可学习的方式无缝集成至现有的基于掩码的Transformer语义分割框架中。我们在四个大规模雾天场景分割数据集上，针对多种具有挑战性的设置进行了充分实验。结果表明，所提方法显著优于现有的直接监督学习、课程式域适应以及域泛化分割方法。相关源代码已开源，地址为：https://github.com/BiQiWHU/BWG。