异质人脸识别（HFR）是一个具有挑战性的问题，因为存在较大的域差异和缺乏异质数据。本文将HFR视为一个双重生成问题，并提出了一种新颖的双变量生成（DVG）框架。该框架从噪声中生成大规模的新配对异质图像，以减少HFR中的域差距。具体而言，我们首先引入了一个双变量自编码器来表示配对异质图像的联合分布。然后，为了确保生成的配对异质图像的身份一致性，我们在潜在空间中施加了分布对齐，并在图像空间中实现了成对身份保持。此外，HFR网络通过限制生成的配对异质图像之间的成对特征距离来减少域差异。在四个HFR数据库上的大量实验表明，我们的方法可以显著提高现有最先进结果。相关代码可在https://github.com/BradyFU/DVG 获取。