摘要

异质人脸识别（Heterogeneous Face Recognition, HFR）旨在匹配通过不同传感模态获取的面部图像，在刑侦、安全及商业等领域具有关键应用价值。然而，由于异质面部图像存在较大的类内差异，且跨模态面部图像对的训练样本有限，HFR相较于传统人脸识别面临更大的挑战。本文提出一种新颖的方法——Wasserstein卷积神经网络（Wasserstein Convolutional Neural Networks，简称WCNN），用于学习近红外（NIR）与可见光（VIS）面部图像之间的不变特征表示（即NIR-VIS人脸识别）。WCNN的低层网络利用广泛可用的可见光谱面部图像进行训练；高层网络则分为三个部分：近红外层、可见光层以及NIR-VIS共享层。前两层旨在学习模态特异性特征，而共享层则专门用于学习模态不变的特征子空间。在NIR-VIS共享层中引入Wasserstein距离，以度量异质特征分布之间的差异性。因此，WCNN的学习目标是通过最小化近红外分布与可见光分布之间的Wasserstein距离，实现异质面部图像的不变深度特征表示。为避免在小规模异质面部数据上出现过拟合问题，本文在WCNN网络的全连接层中引入相关性先验，以压缩参数空间。该先验通过端到端网络中的低秩约束实现。联合优化框架在训练阶段可转化为交替最小化问题，用于深度特征表示学习；在测试阶段则支持对异质数据的高效计算。在三个具有挑战性的NIR-VIS人脸识别数据库上的大量实验表明，Wasserstein CNN在性能上显著优于当前最先进的方法。