摘要

生成潜在变量模型正在成为机器人技术和强化学习领域的有前途工具。然而，尽管这些领域的任务通常涉及不同的对象，大多数最先进的生成模型并未明确捕捉视觉场景的组合性质。两个最近的例外是MONet和IODINE，它们以无监督的方式将场景分解为对象。然而，它们的基本生成过程并未考虑组件之间的相互作用。因此，这两种方法都无法实现对新场景的原理性采样。本文介绍GENESIS，这是首个能够通过捕捉场景组件之间关系来同时分解和生成3D视觉场景的对象中心生成模型。GENESIS在图像上参数化了一个空间高斯混合模型（GMM），该模型从一组对象中心的潜在变量中解码而来，这些潜在变量可以以摊销的方式顺序推断，也可以从自回归先验中采样。我们在多个公开可用的数据集上训练了GENESIS，并对其在场景生成、分解和半监督学习方面的性能进行了评估。