摘要

深度递归神经网络（Deep Recurrent Neural Network）架构虽然在建模序列方面表现出色，但缺乏直观的高层次时空结构。许多计算机视觉问题本质上具有底层的高层次结构，可以从这种结构中受益。时空图（Spatio-temporal graphs）是一种流行的工具，用于在现实世界问题的表述中引入这样的高层次直觉。本文提出了一种方法，将高层次时空图的强大能力与递归神经网络（Recurrent Neural Networks, RNNs）在序列学习中的成功结合起来。我们开发了一种可扩展的方法，将任意时空图转化为一种丰富的RNN混合模型，该模型前馈、完全可微且联合训练。所提出的方法是通用且有原则性的，因为它可以通过采用一组明确定义的步骤来转换任何时空图。我们在一系列问题上对所提出的 方法进行了评估，这些问题从建模人类运动到物体交互不等，结果显示其性能显著优于现有最佳方法。我们期望这种方法能够通过高层次时空图和递归神经网络为问题表述提供新的途径。