摘要

人类讲话时通常会伴随手势动作。本研究旨在根据音频输入生成与之相匹配的手势。具体而言，我们实现了从单一说话者在自然环境下的独白语音到其手部和臂部运动的跨模态转换。我们在未标记的视频上进行训练，这些视频仅通过自动姿态检测系统提供了带有噪声的伪真实数据。我们提出的模型在定量对比中显著优于基线方法。为了支持对手势与语音之间关系的计算理解的研究，我们发布了一个包含特定人物手势的大规模视频数据集。项目网站（包括视频、代码和数据）可访问：http://people.eecs.berkeley.edu/~shiry/speech2gesture 。