摘要

从真实照片生成人脸素描，以及其逆问题（即从素描生成照片），在多个领域具有广泛的应用前景。然而，由于照片与素描在视觉特征上存在显著差异，这一图像合成任务仍面临较大挑战。本文将该问题视为图像到图像的转换问题，并探索近年来广受关注的生成模型（GAN）来实现从素描生成高质量真实照片，以及从照片生成素描。尽管基于GAN的最新方法在图像到图像转换任务，尤其是照片到素描的转换中已展现出良好效果，但其在生成高分辨率真实图像方面仍存在能力局限。为此，本文提出一种新型合成框架——基于多对抗网络的照-绘合成方法（Photo-Sketch Synthesis using Multi-Adversarial Networks, PS²-MAN），该框架通过对抗性方式逐步生成从低分辨率到高分辨率的图像。生成器的隐藏层被监督以首先生成低分辨率图像，随后在网络内部通过隐式优化逐步提升至高分辨率。此外，由于照片与素描之间的转换属于耦合/成对的图像转换问题，本文进一步引入CycleGAN框架以有效利用成对数据信息。通过图像质量评估（IQA）以及照片-素描匹配实验，验证了所提框架在性能上显著优于现有最先进的方法。代码已开源，获取地址：https://github.com/lidan1/PhotoSketchMAN。