摘要

长期人体运动可以表示为一系列运动模式——这些模式捕捉了短期的时间动态——以及它们之间的转换。我们利用这一结构，提出了一种新型的运动变换变分自编码器（Motion Transformation Variational Auto-Encoders, MT-VAE），用于学习生成运动序列。我们的模型同时学习了运动模式的特征嵌入（可以从该嵌入中重建运动序列）和特征变换，后者表示从一个运动模式到下一个运动模式的转换。该模型能够从相同的输入中生成多个多样且合理的未来运动序列。我们将这种方法应用于面部和全身运动，并展示了基于类比的运动迁移和视频合成等应用。