
摘要
学习通用面部表示的最佳方法是什么?近期在面部分析领域的深度学习研究主要集中在特定任务(如面部识别、面部特征点定位等)的监督学习上,但忽视了如何找到一种可以轻松适应多种面部分析任务和数据集的面部表示这一总体问题。为此,我们做出了以下四项贡献:(a) 首次引入了一个全面的面部表示学习评估基准,涵盖五个重要的面部分析任务。(b) 我们系统地研究了应用于面部的大规模表示学习的两种方法:监督预训练和无监督预训练。特别地,我们的评估重点放在少样本面部学习的情况下。(c) 我们探讨了训练数据集的重要属性,包括其规模和质量(标记、未标记或甚至是未经整理的数据)。(d) 为了得出结论,我们进行了大量的实验。我们的两个主要发现是:(1) 在完全野生、未经整理的数据上进行无监督预训练,在所有考虑的面部任务中提供了持续且在某些情况下显著的准确性提升。(2) 许多现有的面部视频数据集似乎存在大量冗余。我们将发布代码和预训练模型,以促进未来的研究。
代码仓库
tomas-gajarsky/facetorch
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| 3d-face-reconstruction-on-aflw2000-3d | VGG-F | Mean NME : 3.42% |
| face-alignment-on-aflw-19 | VGG-F | NME_diag (%, Full): 1.55 |
| face-alignment-on-cofw | Ours (VGG-F) | NME (inter-ocular): 3.32 |
| face-alignment-on-wfw-extra-data | VGG-F | NME (inter-ocular): 4.57 |
| facial-expression-recognition-on-bp4d | Ours (VGG-F) | ICC: 0.719 |
| facial-expression-recognition-on-disfa | Ours (VGG-F) | ICC: 0.598 |