摘要

随着三维人脸虚拟形象在通信中的广泛应用，准确传达情绪变得至关重要。然而，当前最先进的从单目图像回归参数化三维人脸模型的方法，仍难以捕捉面部表情的完整谱系，尤其是细微或极端情绪。我们发现，用于训练的标准重建指标（如关键点重投影误差、光度误差和人脸识别损失）不足以刻画高保真度的表情。其结果是，重建出的面部几何形态与输入图像所呈现的情绪内容不匹配。为此，我们提出了EMOCA（EMOtion Capture and Animation），通过在训练过程中引入一种新颖的深度感知情绪一致性损失（deep perceptual emotion consistency loss），有效确保重建的三维表情与输入图像中的表情一致。尽管EMOCA在三维重建误差方面与当前最优方法相当，但在重建表情的质量以及感知到的情绪内容方面，显著优于现有方法。此外，我们直接从估计的三维人脸参数中回归情绪的效价（valence）与唤醒度（arousal）水平，并对基本情绪类别进行分类。在真实场景下情绪识别任务中，我们的纯几何方法性能与最先进的基于图像的方法相当，凸显了三维几何信息在分析人类行为中的重要价值。相关模型与代码已公开发布，访问地址为：https://emoca.is.tue.mpg.de。