
摘要
面部对齐是计算机视觉领域的一个经典问题。以往的研究大多集中在具有有限数量的面部特征点的稀疏对齐上,即面部特征点检测。本文首次尝试为大姿态人脸图像提供非常密集的三维对齐。为此,我们训练了一个卷积神经网络(CNN)来估计三维人脸形状,该网络不仅能够对有限的面部特征点进行对齐,还能拟合人脸轮廓和SIFT特征点。此外,我们还解决了由于不同数据集上的地标标记差异(如5个、34个、68个地标)而导致的训练CNN时的数据集瓶颈问题。实验结果表明,我们的方法不仅提供了高质量、密集的三维人脸拟合,还在具有挑战性的数据集上优于最先进的面部特征点检测方法。我们的模型在测试过程中可以实现实时运行。
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| 3d-face-reconstruction-on-aflw2000-3d | DeFA | Mean NME : 5.6454% |
| face-alignment-on-aflw-lfpa | DeFA | Mean NME : 3.86% |
| face-alignment-on-aflw2000-3d | DeFA | Balanced NME (2D Sparse Alignment): 4.50% Mean NME(3D Dense Alignment): 6.04% |