摘要

当前的单目3D人脸重建方法虽然能够恢复精细的几何细节，但仍存在若干局限性。一些方法生成的人脸无法进行逼真的动画处理，因为它们没有建模皱纹随表情变化的情况。其他方法则是在高质量的人脸扫描数据上训练的，因此在处理野外图像时泛化能力较差。本文提出了一种新的方法，首次实现了从单个图像中回归出特定个体的3D人脸形状及其随表情变化的可动画细节。我们的模型DECA（Detailed Expression Capture and Animation）经过训练，可以从低维潜在表示中稳健地生成UV位移图，该潜在表示由个体特有细节参数和通用表情参数组成；同时，一个回归器被训练用于从单张图像预测细节、形状、反照率、表情、姿态和光照参数。为此，我们引入了一种新颖的细节一致性损失函数，该函数能够将个体特有细节与表情相关的皱纹区分开来。这种区分使得我们能够在保持个体特有细节不变的情况下，通过控制表情参数合成逼真的个体特有皱纹。DECA模型无需配对的3D监督数据即可从野外图像中学习，并在两个基准测试中达到了最先进的形状重建精度。在野外数据上的定性结果展示了DECA的鲁棒性和其分离身份相关和表情相关细节的能力，从而实现重建人脸的动画处理。该模型及代码已公开发布于https://deca.is.tue.mpg.de。