摘要

我们提出了一种新的视觉数据表示方法，该方法将物体位置与其外观解耦。我们的方法称为深度潜在粒子（Deep Latent Particles，DLP），将视觉输入分解为低维的潜在“粒子”，每个粒子由其空间位置及其周围区域的特征描述。为了驱动这种表示的学习，我们采用了基于变分自编码器（VAE）的方法，并引入了基于空间软最大值（spatial-softmax）架构的粒子位置先验，以及受粒子之间 Chamfer 距离启发的证据下界损失的修改版本。我们展示了 DLP 表示在下游任务中的应用价值，例如无监督关键点（KP）检测、图像操作和多动态物体场景的视频预测。此外，我们还表明，对问题的概率解释自然地提供了粒子位置的不确定性估计，这些估计可以用于模型选择等任务。相关视频和代码可在以下网址获取：https://taldatech.github.io/deep-latent-particles-web/