摘要

学习到的人脸三维表示对于计算机视觉问题（如从图像中进行三维人脸跟踪和重建）以及图形应用（如角色生成和动画）非常有用。传统模型通过线性子空间或高阶张量泛化来学习人脸的潜在表示。由于这种线性特性，它们无法捕捉极端变形和非线性表情。为了解决这一问题，我们提出了一种灵活的模型，该模型利用网格表面的谱卷积来学习人脸的非线性表示。我们引入了网格采样操作，使得模型能够以多层次的方式捕捉形状和表情在多个尺度上的非线性变化。在变分设置下，我们的模型可以从多元高斯分布中采样出多样且逼真的三维人脸。我们的训练数据包括12个不同对象的20,466个极端表情网格。尽管训练数据有限，但经过训练的模型在重建误差上比最先进的面部模型低50%，同时使用的参数减少了75%。我们还展示了将现有最先进的面部模型的表情空间替换为我们的自动编码器后，可以实现更低的重建误差。我们的数据、模型和代码可在 http://github.com/anuragranj/coma 获取。