摘要

我们提出了一种通用的基于样本的图像转换框架，该框架能够根据输入的特定域图像（例如语义分割图、边缘图或姿态关键点图）和一个参考样本图像，合成出逼真的目标图像。生成结果在风格（如颜色、纹理）上与参考样本中语义对应物体保持一致。我们提出联合学习跨域对应关系与图像转换，两项任务相互促进，因此可在弱监督条件下共同完成。首先，来自不同域的图像被对齐至一个中间域，以建立密集的对应关系；随后，网络基于参考样本中语义对应图像块的外观特征进行图像合成。我们在多个图像转换任务中验证了该方法的有效性。实验结果表明，与当前最先进的方法相比，本方法在图像质量上具有显著优势，且生成图像的风格忠实于参考样本，同时保持了良好的语义一致性。此外，我们还展示了该方法在多种实际应用中的实用价值。