
摘要
我们提出了一种新的级联形状回归(Cascaded Shape Regression, CSR)架构,即动态注意力控制的CSR(Dynamic Attention-Controlled CSR, DAC-CSR),用于在无约束条件下鲁棒地检测面部特征点。我们的DAC-CSR将面部特征点检测分为三个级联子任务:人脸边界框精调、通用CSR和注意力控制的CSR。前两个阶段对初始的人脸边界框进行精调并输出中间的面部特征点。随后,采用在线动态模型选择方法来挑选合适的特定领域CSR以进一步精调特征点。我们提出的DAC-CSR的关键创新在于其容错机制,通过模糊集样本加权来进行注意力控制的特定领域模型训练。此外,我们提倡使用一种简单但有效的2D侧面脸生成器进行数据增强,并采用上下文感知的特征提取方法以获得更好的面部特征表示。实验结果表明,在具有挑战性的数据集上,我们的DAC-CSR相比现有最先进方法具有显著优势。
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| face-alignment-on-aflw-19 | DAC-CSR | NME_diag (%, Frontal): 1.81 NME_diag (%, Full): 2.21 |