摘要

本文探讨了视频对象分割问题，其中初始对象掩码在输入视频的第一帧中给出。我们提出了一种新颖的空间-时间马尔可夫随机场（MRF）模型，该模型定义在像素上以解决这一问题。与传统的MRF模型不同，我们的模型中的像素空间依赖关系由卷积神经网络（CNN）编码。具体而言，对于给定的对象，可以使用针对该特定对象训练的CNN来预测一组空间邻近像素的标签概率。因此，CNN可以隐式地建模该组像素之间的高阶、更丰富的依赖关系。通过光流建立时间依赖关系后，所得到的MRF模型结合了空间和时间线索来应对视频对象分割问题。然而，由于存在非常高阶的依赖关系，在MRF模型中进行推理非常困难。为此，我们提出了一种嵌入CNN的新算法来进行MRF的近似推理。该算法通过交替执行时间融合步骤和前馈CNN步骤来进行。当使用基于外观的一次性分割CNN初始化时，我们的模型在不借助模型集成或任何专用检测器的情况下，优于DAVIS 2017挑战赛的获胜作品。