摘要

我们展示了一种学习映射的方法，该映射能够将从人脸图像中提取的内容编码（content code）与一个随机选取的风格编码（style code）共同映射为一幅动漫图像。基于我们简单而有效的风格与内容定义，我们推导出一种对抗性损失（adversarial loss），该损失确保了映射具有高度多样性——仅需一个内容编码，即可生成风格迥异的大量动漫图像。在合理假设下，该映射不仅具备多样性，还能准确地表征在给定输入人脸图像条件下，生成动漫图像的概率分布。相比之下，现有的多模态生成方法难以捕捉动漫中复杂的风格特征。大量定量实验验证了该映射的正确性；大量定性结果表明，与当前最先进（SOTA）方法相比，本方法能够生成更加丰富多样的风格。最后，我们证明，本方法对内容与风格的形式化定义，使得我们能够在无需任何视频训练数据的情况下，实现视频到视频的风格迁移。