摘要
我们提出了一种新颖的边界感知面部对齐算法，通过利用边界线作为人脸的几何结构来辅助面部特征点定位。与传统的基于热图的方法和基于回归的方法不同，我们的方法从边界线中提取面部特征点，从而消除了特征点定义中的模糊性。本研究探讨并回答了三个问题：1. 为什么使用边界？2. 如何使用边界？3. 边界估计与特征点定位之间的关系是什么？我们的边界感知面部对齐算法在300-W全集上实现了3.49%的平均误差，大幅优于现有最先进方法。此外，我们的方法可以轻松集成来自其他数据集的信息。通过利用300-W数据集中的边界信息，我们的方法在COFW数据集上实现了3.92%的平均误差和0.39%的失败率，在AFLW-Full数据集上实现了1.25%的平均误差。此外，我们还提出了一个新的数据集WFLW，以统一不同因素（包括姿态、表情、光照、化妆、遮挡和模糊）下的训练和测试。该数据集和模型将在https://wywu.github.io/projects/LAB/LAB.html 公开发布。
代码仓库
open-mmlab/mmpose
pytorch
wywu/LAB
官方
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| face-alignment-on-300w | LAB | NME_inter-ocular (%, Challenge): 5.19 NME_inter-ocular (%, Common): 2.98 NME_inter-ocular (%, Full): 3.49 NME_inter-pupil (%, Challenge): 6.98 NME_inter-pupil (%, Common): 3.42 NME_inter-pupil (%, Full): 4.12 |
| face-alignment-on-aflw-19 | LAB (w/ B) | NME_diag (%, Frontal): 1.14 NME_diag (%, Full): 1.25 |
| face-alignment-on-aflw-19 | LAB (w/o B) | NME_diag (%, Frontal): 1.62 NME_diag (%, Full): 1.85 |
| face-alignment-on-cofw | LAB (w/ B) | NME (inter-ocular): 3.92% |
| face-alignment-on-cofw | LAB | NME (inter-ocular): 5.58% |
| face-alignment-on-wflw | LAB | AUC@10 (inter-ocular): 53.2 FR@10 (inter-ocular): 7.56 NME (inter-ocular): 5.27 |