摘要

当模型（例如用于语义分割的模型）应用于与训练数据差异显著的图像时，其性能会显著下降。领域自适应方法试图缓解这一问题，但通常需要目标域的样本数据。然而，由于种种原因，获取目标域真实样本并不总是可行，因此领域泛化方法显得尤为重要，因为它们无需依赖任何目标域数据。本文提出一种基于扩散模型的新型领域扩展方法（Diffusion-based Domain Extension, DIDEX），利用扩散模型结合多样化的文本提示生成伪目标域图像。与现有方法相比，该方法能够有效控制生成图像的风格与内容，并引入高度多样性。在第二阶段，我们通过将模型向该伪目标域进行适应，训练出具备强泛化能力的模型。实验结果表明，该方法在多个数据集和网络架构上均显著超越此前的先进方法，且完全不使用真实目标域数据。在从GTA5到Cityscapes的泛化任务中，平均mIoU指标提升3.8个百分点；在SYNTHIA数据集上更是实现11.8个百分点的绝对提升，标志着该类基准测试中泛化性能的重要进展。相关代码已开源，地址为：https://github.com/JNiemeijer/DIDEX。