HyperAIHyperAI

Command Palette

Search for a command to run...

基于CNN的高阶时空MRF中的推理:视频对象分割方法

Linchao Bao Baoyuan Wu Wei Liu

摘要

本文探讨了视频对象分割问题,其中初始对象掩码在输入视频的第一帧中给出。我们提出了一种新颖的空间-时间马尔可夫随机场(MRF)模型,该模型定义在像素上以解决这一问题。与传统的MRF模型不同,我们的模型中的像素空间依赖关系由卷积神经网络(CNN)编码。具体而言,对于给定的对象,可以使用针对该特定对象训练的CNN来预测一组空间邻近像素的标签概率。因此,CNN可以隐式地建模该组像素之间的高阶、更丰富的依赖关系。通过光流建立时间依赖关系后,所得到的MRF模型结合了空间和时间线索来应对视频对象分割问题。然而,由于存在非常高阶的依赖关系,在MRF模型中进行推理非常困难。为此,我们提出了一种嵌入CNN的新算法来进行MRF的近似推理。该算法通过交替执行时间融合步骤和前馈CNN步骤来进行。当使用基于外观的一次性分割CNN初始化时,我们的模型在不借助模型集成或任何专用检测器的情况下,优于DAVIS 2017挑战赛的获胜作品。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于CNN的高阶时空MRF中的推理:视频对象分割方法 | 论文 | HyperAI超神经