摘要

在本工作中，我们旨在生成以骨骼序列形式表示的长时动作。生成的序列需体现连续且有意义的人体动作，同时保持身体各部位之间的协调性。与传统采用自回归模型逐帧生成骨骼序列的方法不同，我们提出一种新框架，该框架通过从高斯过程（Gaussian Process, GP）中采样得到的一组潜在向量，一次性生成完整的动作序列。该框架命名为卷积序列生成网络（Convolutional Sequence Generation Network, CSGN），能够联合建模时间与空间维度上的结构特征。具体而言，CSGN通过高斯过程先验与时间卷积操作，捕捉多尺度的时间结构；并通过一种新颖的图精炼机制，建立潜在向量与骨骼图结构之间的空间关联。值得注意的是，CSGN支持潜在空间与观测空间之间的双向变换，从而实现对动作序列在多种语义层面的灵活操控。我们在多个数据集上进行了实验研究，其中包括我们自主采集的一组高质量舞蹈动作序列。实验结果表明，所提框架能够生成在时间步之间以及身体各部位之间均保持高度一致性的长时动作序列。