摘要

我们提出了运动胶囊自编码器（Motion Capsule Autoencoder, MCAE），该方法解决了无监督运动表示学习中的一个关键挑战：变换不变性。MCAE 通过两级层次结构来建模运动。在较低层级，时空运动信号被划分为短的、局部的且语义无关的片段。在较高层级，这些片段被聚合以形成全长的、语义相关的段落。对于这两个层级，我们使用一组学习到的变换不变模板以及相应的几何变换来表示运动，这通过设计新颖的胶囊自编码器实现。这种方法使得视点变化的编码更加鲁棒和高效。MCAE 在一个新提出的 Trajectory20 运动数据集以及多个基于骨架的真实世界人体动作数据集上进行了评估。值得注意的是，它在 Trajectory20 数据集上以显著较少的参数实现了比基线方法更好的结果，并在无监督基于骨架的动作识别任务中达到了最先进的性能。