摘要

尽管近年来人脸识别领域取得了显著进展，但在大规模场景下高效实现人脸验证与识别仍是当前方法面临的重要挑战。本文提出一种名为FaceNet的系统，该系统直接学习将人脸图像映射到一个紧凑的欧几里得空间，在该空间中，距离直接对应于人脸相似性的度量。一旦构建完成该嵌入空间，即可利用标准技术，以FaceNet生成的嵌入向量作为特征表示，轻松实现人脸识别、验证和聚类等任务。我们的方法采用深度卷积网络，直接优化嵌入本身，而非像以往深度学习方法那样优化中间的瓶颈层。在训练过程中，我们使用一种新颖的在线三元组挖掘方法，生成大致对齐的匹配/非匹配人脸图像块三元组。该方法的优势在于显著提升表示效率：仅需每张人脸128字节的存储空间，即可实现当前最优的人脸识别性能。在广泛使用的人脸在野外（Labeled Faces in the Wild, LFW）数据集上，我们的系统取得了99.63%的新纪录准确率；在YouTube Faces DB数据集上，准确率达到95.12%。与现有最佳公开结果相比，我们在两个数据集上的错误率均降低了30%。此外，我们提出了“谐波嵌入”（harmonic embeddings）的概念，以及一种“谐波三元组损失”（harmonic triplet loss），用于描述由不同网络生成的、彼此兼容的多种人脸嵌入版本，使得这些嵌入之间可直接进行比较。