摘要

生成对抗网络（GANs）在图像生成方面已达到照片级的真实质量。然而，如何最佳地控制图像内容仍然是一个开放的挑战。我们引入了一种名为LatentKeypointGAN的两阶段GAN，该模型在经典GAN目标函数上进行端到端训练，并在内部对一组空间关键点进行条件约束。这些关键点具有相应的外观嵌入向量，分别控制生成对象及其部分的位置和风格。我们通过适当的网络架构和训练方案解决了将图像分解为空间和外观因素的主要难题，而无需领域知识和监督信号。我们证明了LatentKeypointGAN提供了一个可解释的潜在空间，可以通过重新定位和交换关键点嵌入向量来重新排列生成的图像，例如通过组合不同图像中的眼睛、鼻子和嘴巴来生成肖像。此外，显式生成关键点并匹配图像使得基于GAN的新方法能够在无监督条件下进行关键点检测。