摘要

在本文中，我们提出了监督注册（supervision-by-registration）方法，这是一种无需监督的方法，旨在提高面部特征点检测器在图像和视频中的精度。我们的关键观察是，相邻帧中同一特征点的检测结果应当与注册结果（即光流）保持一致。有趣的是，光流的一致性可以作为一种无需手动标注的监督信号，并且可以在检测器训练过程中加以利用。例如，我们可以在训练损失函数中强制要求，在第$t-1$帧检测到的特征点通过从第$t-1$帧到第$t$帧的光流跟踪后，应与第$t$帧中的检测位置重合。实际上，监督注册方法通过在训练损失函数中增加一个注册损失项来增强其性能，从而使检测器不仅能够接近有标签图像中的注释位置，还能在大量无标签视频上保持与注册结果的一致性。通过可微分的Lucas-Kanade操作实现了端到端的训练过程，该操作在前向传播过程中计算光流注册，并反向传播梯度以鼓励检测器的时间一致性。我们的方法输出了一个更加精确的基于图像的面部特征点检测器，可以应用于单张图像或视频。借助监督注册方法，我们展示了（1）在图像（300W、ALFW）和视频（300VW、YouTube名人）数据集上面部特征点检测精度的提升；以及（2）视频检测中抖动现象的显著减少。