摘要

我们提出MGP-VAE（多解耦特征高斯过程变分自编码器，Multi-disentangled-features Gaussian Processes Variational AutoEncoder），这是一种基于变分自编码器架构的模型，利用高斯过程（Gaussian Process, GP）对潜在空间进行建模，用于视频序列中无监督解耦表征的学习。相较于以往工作，我们构建了一个能够实现多个独立特征（静态或动态）解耦的统一框架。具体而言，我们采用分数阶布朗运动（fractional Brownian motion, fBM）与布朗桥（Brownian bridge, BB）来在每个独立通道中施加帧间相关性结构，并证明通过调节该结构，能够有效捕捉数据中不同的变化因素。我们在三个公开可用的数据集上进行了实验，验证了所学习表征的质量，同时通过视频预测任务量化了模型性能的提升。此外，我们提出了一种新颖的测地线损失函数（geodesic loss function），该函数考虑了数据流形的曲率特性，从而进一步提升模型学习效果。实验结果表明，结合改进的表征学习能力与新型损失函数，MGP-VAE在视频预测任务中显著优于现有基线模型。