摘要

当前的监督式人脸关键点检测方法通常需要大量训练数据，且由于模型参数量庞大，容易在特定数据集上出现过拟合问题。本文提出一种半监督方法，其核心思想是首先从当今海量的未标注人脸图像中提取隐式的人脸知识。在首个完全无监督的阶段，我们训练一个对抗自编码器，通过低维人脸嵌入（face embedding）实现对人脸图像的重建。在第二个监督阶段，我们将解码器与迁移层交替连接，将原本生成彩色图像的任务重新调整为预测关键点热图。所提出的框架（3FabRec）在多个常用基准测试中达到了当前最优性能，尤为重要的是，即使在极小的训练集上（最少仅需10张图像），仍能保持出色的检测精度。由于交错连接的层仅向解码器引入少量参数，该方法在GPU上推理速度可达每秒数百帧（数百FPS）。