摘要

无监督域适应（UDA）旨在增强学习模型在其他领域的泛化能力。该方法将从标记源域（例如视频游戏）训练的模型中的领域不变知识迁移到未标记的目标域（例如现实场景），从而节省标注成本。现有的用于语义分割的UDA方法通常专注于最小化不同层次的领域间差异，例如像素、特征和预测，以提取领域不变知识。然而，主要的领域内知识，如图像内的上下文关联，仍然未得到充分探索。为了填补这一空白，我们提出了一种统一的像素级和补丁级自监督学习框架，称为PiPa，用于域适应语义分割，该框架有助于在不同上下文中提取图像内像素级相关性和补丁级语义一致性。所提出的框架利用了领域内图像的固有结构：(1) 明确鼓励学习具有类内紧凑性和类间可分性的判别性像素级特征；(2) 激励对不同上下文或波动具有鲁棒性的相同补丁的特征学习。广泛的实验验证了所提方法的有效性，在两个广泛使用的UDA基准测试中取得了具有竞争力的精度，即从GTA到Cityscapes为75.6 mIoU，从Synthia到Cityscapes为68.2 mIoU。此外，我们的方法与其他UDA方法兼容，可以在不引入额外参数的情况下进一步提升性能。