摘要

无监督图像到图像转换是计算机视觉领域中一个重要的且具有挑战性的问题。给定源域中的图像，目标是从未见过的对应图像对中学习目标域中相应图像的条件分布。尽管这种条件分布本质上是多模态的，现有的方法却做出了过于简化的假设，将其建模为确定性的单对一映射。因此，它们无法从给定的源域图像生成多样化的输出。为了克服这一局限，我们提出了一种多模态无监督图像到图像转换（MUNIT）框架。我们假设图像表示可以分解为一个在不同域中不变的内容码和一个捕捉特定域属性的风格码。为了将一幅图像转换到另一个域，我们将它的内容码与从目标域风格空间中随机采样的风格码重新组合。我们分析了所提出的框架，并建立了若干理论结果。广泛的实验以及与现有最先进方法的比较进一步证明了该框架的优势。此外，我们的框架允许用户通过提供示例风格图像来控制转换输出的风格。代码和预训练模型可在以下地址获取：https://github.com/nvlabs/MUNIT