
摘要
面部对齐是指将面部模型拟合到图像中并提取面部像素的语义意义,一直是计算机视觉领域的研究热点。然而,大多数算法仅适用于小到中等角度(小于45度)的面部,缺乏对大角度(高达90度)面部进行对齐的能力。这一问题存在三个主要挑战:首先,常用的基于特征点的面部模型假设所有特征点都是可见的,因此不适合侧面视图;其次,大角度下的面部外观变化更为剧烈,从正面视图到侧面视图的变化范围较大;最后,在大角度下标注特征点极为困难,因为需要猜测不可见的特征点。在本文中,我们提出了一种新的对齐框架——三维密集面部对齐(3D Dense Face Alignment, 3DDFA),通过卷积神经网络(CNN)将密集的三维面部模型拟合到图像中。此外,我们还提出了一种方法来合成大规模的侧面视图训练样本,以解决数据标注的第三个问题。在具有挑战性的AFLW数据库上的实验表明,我们的方法相比现有最先进方法取得了显著改进。
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| 3d-face-reconstruction-on-aflw2000-3d | 3DDFA | Mean NME : 5.3695% |
| 3d-face-reconstruction-on-florence | 3DDFA | Mean NME : 6.3833% |
| face-alignment-on-aflw2000 | 3DDFA | Error rate: 5.42 |
| face-alignment-on-aflw2000-3d | 3DDFA + SDM | Balanced NME (2D Sparse Alignment): 4.94% |
| facial-landmark-detection-on-300w | CFSS | NME: 5.76 |
| facial-landmark-detection-on-300w | 3DDFA | NME: 7.01 |
| head-pose-estimation-on-aflw2000 | 3DDFA | MAE: 7.393 |
| head-pose-estimation-on-biwi | 3DDFA | MAE (trained with other data): 19.068 |