
摘要
监督式人脸对齐方法需要大量训练数据才能在准确性和泛化能力方面取得良好表现。然而,现有的人脸对齐数据集通常仅包含数千个样本,导致这类方法容易在特定训练数据集上出现过拟合问题。为缓解这一问题,半监督方法(如TS3或3FabRec)应运而生,它们在训练过程中同时利用有标签和无标签数据。本文提出了一种基于自编码器的跳接结构人脸对齐方法——SCAF(Skip-Connections in Auto-encoder for Face alignment),在3FabRec的基础上引入编码器与解码器之间的跳接连接(skip-connections),显著提升了关键点预测性能,尤其是在处理具有挑战性的样本时表现更优。此外,本文首次将主动学习(active learning)引入人脸对齐任务,并提出一种新型采集函数——负邻域幅值(Negative Neighborhood Magnitude),该函数专门用于评估热图的质量。实验结果表明,上述两项创新在有限训练数据条件下,于多个主流人脸对齐数据集上均展现出显著的有效性。
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| face-alignment-on-300w | SCAF | NME_inter-ocular (%, Challenge): 5.83 NME_inter-ocular (%, Common): 3.48 NME_inter-ocular (%, Full): 3.95 |
| face-alignment-on-wflw | SCAF | NME (inter-ocular): 5.50 |