
摘要
使用深度网络进行热图回归已成为面部关键点定位的主要方法之一。然而,针对热图回归的损失函数的研究却相对较少。在本文中,我们分析了在面部对齐问题中理想的热图回归损失函数应具备的特性。随后,我们提出了一种新的损失函数——自适应翼形损失(Adaptive Wing loss),该损失函数能够根据不同的真实热图像素类型调整其形状。这种自适应性使得前景像素上的损失更大,而背景像素上的损失更小。为了解决前景和背景像素之间的不平衡问题,我们还提出了加权损失图(Weighted Loss Map),该方法为前景像素和难以处理的背景像素分配较高的权重,以帮助训练过程更加关注对关键点定位至关重要的像素。为了进一步提高面部对齐的准确性,我们引入了边界预测和带有边界坐标的CoordConv。我们在多个基准数据集上进行了广泛的实验,包括COFW、300W和WFLW,结果表明我们的方法在各种评估指标上显著优于现有最先进方法。此外,自适应翼形损失也适用于其他热图回归任务。代码将在https://github.com/protossw512/AdaptiveWingLoss公开发布。
代码仓库
emilianavt/OpenSeeFace
tf
GitHub 中提及
affromero/SMILE
pytorch
GitHub 中提及
mikgur/MADE_CV_1000_facial_landmarks
pytorch
GitHub 中提及
ttruty/facial-feature-mouse-control
pytorch
GitHub 中提及
zs7779/FAN_AdaptiveWingLoss
pytorch
GitHub 中提及
protossw512/AdaptiveWingLoss
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| face-alignment-on-300w | AWing | NME_inter-ocular (%, Challenge): 4.52 NME_inter-ocular (%, Common): 2.72 NME_inter-ocular (%, Full): 3.07 NME_inter-pupil (%, Challenge): 6.52 NME_inter-pupil (%, Common): 3.77 NME_inter-pupil (%, Full): 4.31 |
| face-alignment-on-wflw | AWing | AUC@10 (inter-ocular): 57.19 FR@10 (inter-ocular): 2.84 NME (inter-ocular): 4.36 |
| face-alignment-on-wfw-extra-data | Awing | AUC@10 (inter-ocular): 57.19 FR@10 (inter-ocular): 2.84 NME (inter-ocular): 4.36 |