
摘要
随着深度学习模型近年来不断增大,参数量有时已超过十亿,对大规模、带标注训练数据集的需求也随之增加。为缓解这一问题,自监督学习的研究兴趣日益增长。在该领域,生成对抗网络(GANs)尤其是StyleGAN的兴起,显著提升了图像生成的质量。本文提出利用StyleGAN在训练数据有限的情况下实现人脸对齐,而非传统的图像生成任务。我们提出的框架——基于StyleGAN嵌入的人脸对齐方法(Face Alignment using StyleGAN Embeddings, FASE),将真实图像映射至StyleGAN的隐空间,并从隐向量中预测面部关键点。实验结果表明,该方法在多个主流人脸对齐数据集上,在少样本(few-shot)设置下均达到了当前最优性能。
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| face-alignment-on-300w | FASE | NME_inter-ocular (%, Challenge): 5.30 NME_inter-ocular (%, Common): 2.97 NME_inter-ocular (%, Full): 3.42 |
| face-alignment-on-aflw-19 | FASE | AUC_box@0.07 (%, Full): 79.1 NME_box (%, Full): 1.45 NME_diag (%, Frontal): 0.90 NME_diag (%, Full): 1.02 |
| face-alignment-on-wflw | FASE | NME (inter-ocular): 4.62 |