摘要

本工作首次尝试从单张图像生成具有关节结构的人体运动序列。一方面，我们采用成对输入——包括人体骨骼信息作为运动嵌入，以及单张人体图像作为外观参考——基于条件生成对抗网络（conditional GAN）架构生成新的运动帧。另一方面，引入三元组损失（triplet loss）以实现连续帧之间外观的平滑性。由于所提出的框架能够联合利用图像外观空间与关节/运动学运动空间，因此生成的运动序列具有高度真实感，与大多数先前视频生成方法所产生的模糊运动效果形成鲜明对比。我们在两个人体动作数据集（KTH 和 Human3.6M）上对模型进行了测试，结果表明，该框架在两个数据集上均取得了非常令人期待的生成效果。