摘要

本文研究了无监督域自适应中的语义分割问题，旨在缓解源域（合成数据）与目标域（真实数据）之间的域偏移问题。现有最先进方法表明，进行语义级别的对齐有助于缓解域偏移带来的挑战。基于观察发现：不同域图像中的“背景”类别（stuff categories）通常具有相似的外观特征，而“物体实例”（things，即具体对象）则存在显著差异，我们提出针对“背景”区域与“物体实例”采用不同的策略以提升语义级对齐效果：1）对于“背景”类别，为每一类生成统一的特征表示，并从目标域向源域进行特征对齐；2）对于“物体实例”类别，为每个独立实例生成特征表示，并促使目标域中的每个实例与源域中最具相似性的实例实现对齐。该方法能够充分考虑同一类别内实例间的个体差异，从而避免过度对齐问题。此外，本文进一步揭示了当前对抗性损失在最小化域间分布差异时往往不稳定的内在原因，并证明所提方法通过最小化源域与目标域间最相似的“背景”与“实例”特征，有助于缓解该不稳定性。我们在两个无监督域自适应任务上进行了大量实验，即GTA5→Cityscapes和SYNTHIA→Cityscapes，均取得了新的最先进语义分割精度。