4 个月前

自适应翼损失在热图回归中用于鲁棒的人脸对齐

自适应翼损失在热图回归中用于鲁棒的人脸对齐

摘要

使用深度网络进行热图回归已成为面部关键点定位的主要方法之一。然而,针对热图回归的损失函数的研究却相对较少。在本文中,我们分析了在面部对齐问题中理想的热图回归损失函数应具备的特性。随后,我们提出了一种新的损失函数——自适应翼形损失(Adaptive Wing loss),该损失函数能够根据不同的真实热图像素类型调整其形状。这种自适应性使得前景像素上的损失更大,而背景像素上的损失更小。为了解决前景和背景像素之间的不平衡问题,我们还提出了加权损失图(Weighted Loss Map),该方法为前景像素和难以处理的背景像素分配较高的权重,以帮助训练过程更加关注对关键点定位至关重要的像素。为了进一步提高面部对齐的准确性,我们引入了边界预测和带有边界坐标的CoordConv。我们在多个基准数据集上进行了广泛的实验,包括COFW、300W和WFLW,结果表明我们的方法在各种评估指标上显著优于现有最先进方法。此外,自适应翼形损失也适用于其他热图回归任务。代码将在https://github.com/protossw512/AdaptiveWingLoss公开发布。

代码仓库

基准测试

基准方法指标
face-alignment-on-300wAWing
NME_inter-ocular (%, Challenge): 4.52
NME_inter-ocular (%, Common): 2.72
NME_inter-ocular (%, Full): 3.07
NME_inter-pupil (%, Challenge): 6.52
NME_inter-pupil (%, Common): 3.77
NME_inter-pupil (%, Full): 4.31
face-alignment-on-wflwAWing
AUC@10 (inter-ocular): 57.19
FR@10 (inter-ocular): 2.84
NME (inter-ocular): 4.36
face-alignment-on-wfw-extra-dataAwing
AUC@10 (inter-ocular): 57.19
FR@10 (inter-ocular): 2.84
NME (inter-ocular): 4.36

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
自适应翼损失在热图回归中用于鲁棒的人脸对齐 | 论文 | HyperAI超神经