4 个月前

全姿态范围的人脸对齐:一种三维整体解决方案

全姿态范围的人脸对齐:一种三维整体解决方案

摘要

面部对齐是指将面部模型拟合到图像中并提取面部像素的语义意义,一直是计算机视觉领域的研究热点。然而,大多数算法都是为小到中等姿态(偏航角小于45度)的面部设计的,缺乏处理大姿态(偏航角高达90度)面部的能力。这一问题存在三个主要挑战。首先,常用的地标面部模型假设所有地标都是可见的,因此不适合处理大姿态的情况。其次,从正面视图到侧面视图,大姿态下的面部外观变化更为剧烈。最后,由于需要猜测不可见的地标位置,大姿态下的地标标注极为困难。在本文中,我们提出了一种新的对齐框架——三维密集面部对齐(3D Dense Face Alignment, 3DDFA),通过级联卷积神经网络将密集的三维可变形模型(3D Morphable Model, 3DMM)拟合到图像上。此外,我们还利用三维信息合成了侧面视图的面部图像,以提供丰富的训练样本。在具有挑战性的AFLW数据库上的实验表明,所提出的方法相比现有最先进方法取得了显著改进。

代码仓库

cleardusk/3DDFA
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
face-alignment-on-300w3DDFA
NME_inter-ocular (%, Challenge): 8.07
NME_inter-ocular (%, Common): 5.09
NME_inter-ocular (%, Full): 5.63
NME_inter-pupil (%, Challenge): 10.59
NME_inter-pupil (%, Common): 6.15
NME_inter-pupil (%, Full): 7.01
face-alignment-on-aflw3DDFA
Mean NME: 4.55
face-alignment-on-aflw2000-3d3DDFA
Balanced NME (2D Sparse Alignment): 3.79%
Mean NME(3D Dense Alignment): 6.55%

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
全姿态范围的人脸对齐:一种三维整体解决方案 | 论文 | HyperAI超神经