摘要

我们提出了一种新的无监督图像到图像转换方法，该方法以端到端的方式集成了一个新的注意力模块和一个新的可学习归一化函数。注意力模块通过辅助分类器获得的注意力图引导模型关注源域和目标域之间更为重要的区域。与之前的基于注意力的方法不同，这些方法无法处理域之间的几何变化，我们的模型可以同时转换需要整体变化和需要大范围形状变化的图像。此外，我们新提出的AdaLIN（自适应层-实例归一化）函数通过根据数据集学习的参数，帮助注意力引导模型灵活控制形状和纹理的变化程度。实验结果表明，与现有的具有固定网络架构和超参数的最先进模型相比，所提出的方法具有显著的优势。我们的代码和数据集可在以下网址获取：https://github.com/taki0112/UGATIT 或 https://github.com/znxlwm/UGATIT-pytorch。