摘要

本文介绍了Arc2Face，一种基于身份条件的人脸基础模型。该模型在给定一个人的ArcFace嵌入向量的情况下，能够生成多样化的高逼真图像，并且在人脸相似度方面超越现有模型。尽管之前有尝试将人脸识别特征解码为详细图像，但我们发现常见的高分辨率数据集（如FFHQ）缺乏足够的身份样本以重建任何特定对象。为此，我们精心放大了WebFace42M数据库中相当大一部分的数据，这是目前最大的公开人脸识别（FR）数据集。Arc2Face基于预训练的Stable Diffusion模型，但将其适应于从ID到人脸生成的任务，仅依赖于ID向量进行条件生成。与近期结合ID和文本嵌入实现文本到图像模型零样本个性化的工作不同，我们强调人脸识别特征的紧凑性，这些特征可以完全捕捉人类面部的本质，而无需手工设计的提示。重要的是，增强文本的模型难以分离身份和文本描述，通常需要对给定面部进行一些描述才能达到满意的相似度。然而，Arc2Face仅需ArcFace的判别特征来引导生成过程，在许多需要高度一致性的任务中提供了一个强大的先验知识。例如，我们在来自我们模型的合成图像上训练一个人脸识别模型，并取得了优于现有合成数据集的性能。