摘要

已有若干研究工作构建了端到端的语音同步说话人脸生成流水线，广泛应用于教学、视频语言翻译等现实场景。然而，这些先前方法在生成视频时难以呈现逼真的视觉效果，主要原因在于其对人物表情与情感表达的关注不足。此外，这些方法的性能高度依赖训练数据集中的人脸特征，导致其在面对未见过的人脸时表现不佳。为缓解这一问题，本文提出一种基于类别化情感条件的说话人脸生成框架，能够生成与情感相匹配的自然表情，从而提升生成视频的真实感与可信度。该框架支持六种基本情感类别——喜悦、悲伤、恐惧、愤怒、厌恶与中性，实验表明，所提模型可有效适应任意身份、情感状态及语言。此外，本研究还开发了一个用户友好的网页交互界面，支持实时生成带情感表达的说话人脸视频。我们进一步开展了用户研究，对界面的可用性、设计与功能进行了主观评估。项目主页：https://midas.iiitd.edu.in/emo/