摘要

人脸照片-素描合成旨在根据给定的照片或素描生成相应的人脸素描或照片，该技术在数字娱乐、司法执法等领域具有广泛的应用前景。由于结构真实性和纹理一致性等方面的限制，精确还原人脸照片或素描仍面临挑战。尽管现有方法已取得令人瞩目的成果，但大多会产生模糊效果，并在不同面部部件上造成显著形变，导致合成图像缺乏真实感。为应对这一挑战，本文提出利用面部构成信息辅助人脸素描与照片的生成。具体而言，我们提出一种新型的基于构图辅助的生成对抗网络（Composition-Aided Generative Adversarial Network, CA-GAN），用于人脸照片-素描合成。在CA-GAN中，我们采用成对输入——即一张人脸照片或素描及其对应的像素级面部标签——来生成对应的素描或照片。此外，为聚焦于难生成的面部组件及精细的面部结构，我们设计了一种构图重建损失（compositional reconstruction loss）。最后，我们通过堆叠多个CA-GAN模块（Stacked CA-GAN, SCA-GAN）进一步修正缺陷并增添逼真的细节。实验结果表明，所提方法能够在多种具有挑战性的数据上生成视觉舒适且身份信息高度保留的人脸素描与照片，达到当前最先进的合成质量，显著降低了此前最优方法的Fréchet Inception Distance（FID）指标。此外，我们还验证了该方法具备较强的泛化能力。相关代码与实验结果已公开发布：https://fei-hdu.github.io/ca-gan/。