摘要

语义分割通常需要大量带有像素级标注的图像数据。鉴于专家标注成本极高，近年来的研究表明，基于逼真合成数据（如计算机游戏生成的数据）及计算机自动生成标注训练的模型，可通过一定方法迁移到真实图像上。尽管取得了进展，但由于真实数据与合成数据之间存在严重的域差异，若不对真实图像上的预测施加约束，模型极易在合成数据上过拟合。本文提出一种新颖方法，利用语义分割任务的内在特性来缓解此类迁移问题。具体而言，我们设计了一种预测迁移正则化器（Regularizer of Prediction Transfer, RPT），以无监督的方式将语义分割的内在性质作为约束条件，对模型迁移过程进行正则化。这些约束涵盖图像生成不同层级上的局部块级、聚类级以及上下文级语义预测一致性。由于该迁移过程无需标签且基于数据驱动，我们通过有选择性地引入部分图像区域参与模型正则化，提升了预测的鲁棒性。大量实验验证了RPT在将基于GTA5和SYNTHIA（合成数据）训练的模型迁移到Cityscapes数据集（城市街景）时的有效性。实验结果表明，RPT在多种语义分割神经网络中均能带来一致性的性能提升。尤为显著的是，当将RPT集成至基于对抗学习的分割框架中时，我们取得了当前最优的性能：从GTA5迁移到Cityscapes时，mIoU达到53.2%；从SYNTHIA迁移到Cityscapes时，mIoU达到51.7%。