
摘要
深度学习技术显著提升了人脸对齐算法的性能。然而,由于在非约束条件下存在较大的变化性以及样本稀缺问题,诸如大角度头部姿态、夸张表情以及光照不均等复杂情况下的对齐问题仍未得到彻底解决。本文深入探讨了我们两项核心方法——传播模块(Propagation Module)与焦点翼损失(Focal Wing Loss)——背后的原理与动机。具体而言,我们提出了一种新型的、融合结构信息的人脸对齐算法,该算法基于热图回归,通过将关键点热图传播至边界热图,为后续注意力图的生成提供结构先验信息。此外,我们设计了一种焦点翼损失(Focal Wing Loss),用于在野外自然场景下有效挖掘并强化难样本的学习。同时,我们引入了来自其他领域的先进技术,如CoordConv和抗混叠卷积网络(Anti-aliased CNN),以缓解卷积神经网络在人脸对齐任务中固有的平移敏感性问题。在多个公开基准数据集上的大量实验表明,所提方法在WFLW、300W和COFW等数据集上均显著超越现有最先进水平。具体而言,本方法在WFLW数据集上实现4.05%的平均误差,在300W全集上达到2.93%的平均误差,在COFW数据集上取得3.71%的平均误差。
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| face-alignment-on-300w | PropNet | NME_inter-ocular (%, Challenge): 3.99 NME_inter-ocular (%, Common): 2.67 NME_inter-ocular (%, Full): 2.93 NME_inter-pupil (%, Challenge): 5.75 NME_inter-pupil (%, Common): 3.7 NME_inter-pupil (%, Full): 4.1 |
| face-alignment-on-cofw | PropNet | NME (inter-ocular): 3.71% |
| face-alignment-on-wflw | PropNet | AUC@10 (inter-ocular): 61.58 FR@10 (inter-ocular): 2.96 NME (inter-ocular): 4.05 |