HyperAI
Command Palette
Search for a command to run...
基于骨架的可动运动生成
基于骨架的可动运动生成
Yan Yichao Xu Jingwei Ni Bingbing Yang Xiaokang
摘要
本工作首次尝试从单张图像生成具有关节结构的人体运动序列。一方面,我们采用成对输入——包括人体骨骼信息作为运动嵌入,以及单张人体图像作为外观参考——基于条件生成对抗网络(conditional GAN)架构生成新的运动帧。另一方面,引入三元组损失(triplet loss)以实现连续帧之间外观的平滑性。由于所提出的框架能够联合利用图像外观空间与关节/运动学运动空间,因此生成的运动序列具有高度真实感,与大多数先前视频生成方法所产生的模糊运动效果形成鲜明对比。我们在两个人体动作数据集(KTH 和 Human3.6M)上对模型进行了测试,结果表明,该框架在两个数据集上均取得了非常令人期待的生成效果。