摘要
卷积神经网络（CNN）已成为解决众多计算机视觉问题的基准技术。尽管用于面部关键点检测的CNN具有较强的鲁棒性，但在处理非受限条件下获取的图像时，其精度仍显不足。本文提出一种级联神经网络回归器的方法，以提升面部关键点估计的准确性。具体而言，我们采用两个结构相同的编码器-解码器CNN进行级联：第一个网络生成一组热图，提供关键点位置的粗略估计；第二个网络则通过合成遮挡数据进行训练，用于精化存在歧义或被遮挡的关键点位置。最后，通过一个全连接层（各热图间共享权重），对关键点坐标进行高精度回归。实验结果表明，该方法在300W、COFW和WFLW三个广泛认为最具挑战性的公开数据集上均达到了当前最优水平。
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| face-alignment-on-300w | CHR2C | NME_inter-ocular (%, Challenge): 5.15 NME_inter-ocular (%, Common): 2.85 NME_inter-ocular (%, Full): 3.3 NME_inter-pupil (%, Challenge): 7.44 NME_inter-pupil (%, Common): 3.96 NME_inter-pupil (%, Full): 4.64 |
| face-alignment-on-cofw | CHR2C (Inter-pupils Norm) | NME (inter-pupil): 5.09% |
| face-alignment-on-wflw | CHR2C | AUC@10 (inter-ocular): 57.55 FR@10 (inter-ocular): 3.55 NME (inter-ocular): 4.39 |
| facial-landmark-detection-on-300w | CHR2C (Inter-ocular Norm) | NME: 3.3 |