摘要

在这项工作中，我们提出了一种时间和内存高效的方法，用于结构化预测，该方法在空间和时间上耦合了神经元决策。通过利用近期关于深度高斯条件随机场（Gaussian Conditional Random Fields, GCRFs）的研究进展，我们展示了能够在密集连接的空间-时间图上进行精确且高效的推理。我们的方法称为VideoGCRF，具有以下特点：(a) 高效性，(b) 拥有唯一的全局最小值，(c) 可以与现代深度网络一起端到端地训练，用于视频理解。我们在时间域中实验了多种连通模式，并在语义分割和实例分割任务中展示了相对于强大基线模型的经验改进。