摘要

使用合成数据训练在真实世界数据上表现良好的神经网络是一项重要任务，因为它可以减少昂贵的数据标注需求。然而，合成数据与真实世界数据之间存在领域差距。近年来，减少这种差距（也称为领域适应）的研究已经广泛开展。直接在这两种数据之间进行适应以缩小源（合成）数据与目标（真实）数据之间的领域差距是一个挑战。在本研究中，我们提出了一种新颖的两阶段框架，用于改进图像数据上的领域适应技术。在第一阶段，我们逐步训练一个多尺度神经网络，以实现从源域到目标域的图像转换。我们将新转换的数据称为“目标中的源”（Source in Target, SiT）。然后，我们将生成的SiT数据作为输入插入任何标准的无监督领域适应（UDA）方法中。这种新的数据与所需的目标域之间的领域差距较小，有助于所应用的UDA方法进一步缩小差距。我们通过与其他领先的UDA和图像到图像转换技术进行比较来强调我们的方法的有效性，这些技术被用作SiT生成器。此外，我们在两个UDA任务（GTA5到Cityscapes和Synthia到Cityscapes）中展示了我们的框架对三种最先进的UDA方法（HRDA、DAFormer和ProDA）在语义分割方面的改进效果。