摘要

我们构建了一种无监督学习模型，能够实现对自然视频中潜在变化因素的非线性解耦。先前研究表明，当环境中的绝大多数因素在任意时刻保持恒定，仅少数因素发生变化时，其表征可以实现解耦。因此，针对该问题提出的算法仅在精心构建的数据集上进行了测试，这些数据集恰好具备上述特性，从而使得这些方法是否能够迁移到真实自然场景尚不明确。本文提供了实证证据，表明在分割后的自然视频中，物体的运动变化通常具有较小的幅度，偶尔伴随较大的跳跃，这符合时间上稀疏分布的特征。基于这一发现，我们提出了SlowVAE模型，一种用于无监督表征学习的新方法，该模型通过在时间相邻观测之间施加稀疏先验，实现生成因素的解耦，且无需对变化因素的数量做出任何假设。我们给出了模型可识别性的理论证明，并在多个主流基准数据集上验证了该模型能够可靠地学习到解耦的表征，其性能通常超越当前最先进的方法。此外，我们还展示了该模型在具有自然动态特性的视频数据集（包括Natural Sprites和KITTI Masks）上的良好迁移能力，并将这两个数据集作为基准公开贡献，以推动解耦研究向更自然的数据领域发展。