摘要

可见光（VIS）到近红外（NIR）的人脸匹配是一个具有挑战性的问题，主要是由于这两个模态之间存在显著的域差异以及缺乏足够的数据来训练跨模态匹配算法。现有的方法试图通过从NIR人脸合成可见光人脸、从这些模态中提取域不变特征或将异质数据投影到一个共同的潜在空间来进行跨模态匹配来解决这一问题。在本文中，我们采取了一种不同的方法，利用解耦变分表示（Disentangled Variational Representation, DVR）进行跨模态匹配。首先，我们建立了一个包含固有身份信息及其个体内部变化的人脸表示模型。通过探索解耦的潜在变量空间，采用变分下界来优化NIR和VIS表示的近似后验分布。其次，为了获得更加紧凑和判别性的解耦潜在空间，我们对同一主体的身份信息施加最小化约束，并对NIR和VIS模态变化之间的相关性对齐约束进行了放松。提出了一种交替优化方案，分别针对解耦变分表示部分和异质人脸识别网络部分进行优化。这两部分之间的相互促进有效减少了NIR和VIS域之间的差异，并缓解了过拟合现象。在三个具有挑战性的NIR-VIS异质人脸识别数据库上进行的大量实验表明，所提出的方法在性能上显著优于现有最先进方法。