摘要

基于深度神经网络（DNN）的语义分割模型在源域上训练后，通常难以泛化至未见的目标域，即存在域间差异（domain gap）问题。纹理特征往往是导致域差异的重要因素，使得DNN模型在面对域迁移时表现脆弱，因其容易产生对纹理的偏好（texture bias）。现有的领域泛化语义分割（Domain Generalized Semantic Segmentation, DGSS）方法通过引导模型优先关注形状而非纹理，已在一定程度上缓解了域差异问题。然而，形状与纹理是语义分割中两种显著且互补的视觉线索。本文认为，在DGSS任务中有效利用纹理信息对于提升模型性能至关重要。为此，本文提出一种新颖的框架——纹理学习域随机化（Texture Learning Domain Randomization, TLDR）。TLDR引入两种新型损失函数，以有效增强DGSS中纹理特征的学习能力：（1）纹理正则化损失（texture regularization loss），通过引入在ImageNet上预训练模型提取的纹理特征，防止模型过度拟合源域的纹理；（2）纹理泛化损失（texture generalization loss），利用随机风格图像在自监督学习框架下学习多样化纹理表征。大量实验结果表明，所提出的TLDR框架具有显著优势。例如，在GTA5到Cityscapes的跨域迁移任务中，基于ResNet-50的TLDR模型取得了46.5 mIoU的性能，较现有最先进方法提升了1.9 mIoU。相关源代码已开源，地址为：https://github.com/ssssshwan/TLDR。