
摘要
面部对齐是指将面部模型拟合到图像中并提取面部像素的语义意义,一直是计算机视觉领域的研究热点。然而,大多数算法都是为小到中等姿态(偏航角小于45度)的面部设计的,缺乏处理大姿态(偏航角高达90度)面部的能力。这一问题存在三个主要挑战。首先,常用的地标面部模型假设所有地标都是可见的,因此不适合处理大姿态的情况。其次,从正面视图到侧面视图,大姿态下的面部外观变化更为剧烈。最后,由于需要猜测不可见的地标位置,大姿态下的地标标注极为困难。在本文中,我们提出了一种新的对齐框架——三维密集面部对齐(3D Dense Face Alignment, 3DDFA),通过级联卷积神经网络将密集的三维可变形模型(3D Morphable Model, 3DMM)拟合到图像上。此外,我们还利用三维信息合成了侧面视图的面部图像,以提供丰富的训练样本。在具有挑战性的AFLW数据库上的实验表明,所提出的方法相比现有最先进方法取得了显著改进。
代码仓库
cleardusk/3DDFA
官方
pytorch
GitHub 中提及
1996scarlet/dense-head-pose-estimation
tf
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| face-alignment-on-300w | 3DDFA | NME_inter-ocular (%, Challenge): 8.07 NME_inter-ocular (%, Common): 5.09 NME_inter-ocular (%, Full): 5.63 NME_inter-pupil (%, Challenge): 10.59 NME_inter-pupil (%, Common): 6.15 NME_inter-pupil (%, Full): 7.01 |
| face-alignment-on-aflw | 3DDFA | Mean NME: 4.55 |
| face-alignment-on-aflw2000-3d | 3DDFA | Balanced NME (2D Sparse Alignment): 3.79% Mean NME(3D Dense Alignment): 6.55% |