摘要

在无监督图像到图像转换中，目标是利用一组未配对的训练图像来学习输入图像与输出图像之间的映射关系。本文提出了一种将无监督图像到图像转换问题扩展到多输入设置的方法。给定来自多个模态的一组配对图像，该方法学习一种变换，以将输入转换到指定域。为此，我们引入了一种基于生成对抗网络（GAN）的框架，并采用了多模态生成器结构和一个新的损失项——潜在一致性损失（latent consistency loss）。通过各种实验，我们展示了利用多个输入通常可以提高转换后图像的视觉质量。此外，我们还证明了所提出的方法优于当前最先进的无监督图像到图像转换方法。