3 个月前

基于有限训练数据的StyleGAN潜在空间在人脸对齐中的探索

基于有限训练数据的StyleGAN潜在空间在人脸对齐中的探索

摘要

随着深度学习模型近年来不断增大,参数量有时已超过十亿,对大规模、带标注训练数据集的需求也随之增加。为缓解这一问题,自监督学习的研究兴趣日益增长。在该领域,生成对抗网络(GANs)尤其是StyleGAN的兴起,显著提升了图像生成的质量。本文提出利用StyleGAN在训练数据有限的情况下实现人脸对齐,而非传统的图像生成任务。我们提出的框架——基于StyleGAN嵌入的人脸对齐方法(Face Alignment using StyleGAN Embeddings, FASE),将真实图像映射至StyleGAN的隐空间,并从隐向量中预测面部关键点。实验结果表明,该方法在多个主流人脸对齐数据集上,在少样本(few-shot)设置下均达到了当前最优性能。

基准测试

基准方法指标
face-alignment-on-300wFASE
NME_inter-ocular (%, Challenge): 5.30
NME_inter-ocular (%, Common): 2.97
NME_inter-ocular (%, Full): 3.42
face-alignment-on-aflw-19FASE
AUC_box@0.07 (%, Full): 79.1
NME_box (%, Full): 1.45
NME_diag (%, Frontal): 0.90
NME_diag (%, Full): 1.02
face-alignment-on-wflwFASE
NME (inter-ocular): 4.62

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于有限训练数据的StyleGAN潜在空间在人脸对齐中的探索 | 论文 | HyperAI超神经