3 个月前

PropagationNet:通过点到曲线的传播以学习结构信息

PropagationNet:通过点到曲线的传播以学习结构信息

摘要

深度学习技术显著提升了人脸对齐算法的性能。然而,由于在非约束条件下存在较大的变化性以及样本稀缺问题,诸如大角度头部姿态、夸张表情以及光照不均等复杂情况下的对齐问题仍未得到彻底解决。本文深入探讨了我们两项核心方法——传播模块(Propagation Module)与焦点翼损失(Focal Wing Loss)——背后的原理与动机。具体而言,我们提出了一种新型的、融合结构信息的人脸对齐算法,该算法基于热图回归,通过将关键点热图传播至边界热图,为后续注意力图的生成提供结构先验信息。此外,我们设计了一种焦点翼损失(Focal Wing Loss),用于在野外自然场景下有效挖掘并强化难样本的学习。同时,我们引入了来自其他领域的先进技术,如CoordConv和抗混叠卷积网络(Anti-aliased CNN),以缓解卷积神经网络在人脸对齐任务中固有的平移敏感性问题。在多个公开基准数据集上的大量实验表明,所提方法在WFLW、300W和COFW等数据集上均显著超越现有最先进水平。具体而言,本方法在WFLW数据集上实现4.05%的平均误差,在300W全集上达到2.93%的平均误差,在COFW数据集上取得3.71%的平均误差。

基准测试

基准方法指标
face-alignment-on-300wPropNet
NME_inter-ocular (%, Challenge): 3.99
NME_inter-ocular (%, Common): 2.67
NME_inter-ocular (%, Full): 2.93
NME_inter-pupil (%, Challenge): 5.75
NME_inter-pupil (%, Common): 3.7
NME_inter-pupil (%, Full): 4.1
face-alignment-on-cofwPropNet
NME (inter-ocular): 3.71%
face-alignment-on-wflwPropNet
AUC@10 (inter-ocular): 61.58
FR@10 (inter-ocular): 2.96
NME (inter-ocular): 4.05

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
PropagationNet:通过点到曲线的传播以学习结构信息 | 论文 | HyperAI超神经