摘要

我们创新性地提出了一种灵活且一致的人脸对齐框架——LDDMM-Face。其核心贡献在于引入了一个变形层，能够以微分同胚（diffeomorphic）的方式自然嵌入人脸几何结构。与传统方法通过热图或坐标回归预测人脸关键点不同，本方法将该任务建模为微分同胚配准问题，通过预测唯一参数化初始边界与真实边界之间变形的动量（momenta），并同时对曲线和关键点执行大变形微分同胚度量映射（Large Deformation Diffeomorphic Metric Mapping, LDDMM），从而实现人脸关键点的精确定位。由于将LDDMM嵌入深度网络架构中，LDDMM-Face能够在无需歧义的情况下一致地标注人脸关键点，并灵活适应多种标注方案，甚至可从稀疏标注中预测稠密标注。该方法可无缝集成至各类人脸对齐网络中。我们在四个基准数据集（300W、WFLW、HELEN 和 COFW-68）上进行了全面评估。在传统的同数据集、同标注格式设置下，LDDMM-Face的表现与当前最先进方法相当或更优；而在弱监督学习（部分标注到完整标注）、挑战性场景（如遮挡人脸）以及训练与测试数据集不一致等复杂情形下，其性能尤为突出。此外，LDDMM-Face在最具挑战性的跨数据集、跨标注方案的关键点预测任务中也展现出令人瞩目的效果。