摘要

基于视频的动作分割的主要范式由两个步骤组成：首先，使用密集轨迹（Dense Trajectories）或卷积神经网络（Convolutional Neural Network, CNN）为每一帧计算低级特征，这些特征局部编码了时空信息；其次，将这些特征输入到一个能够捕捉高级时间关系的分类器中，例如循环神经网络（Recurrent Neural Network, RNN）。尽管这种方法通常有效，但这种分离需要指定两个独立的模型，每个模型都有其自身的复杂性，并且无法捕捉更为细微的长程时空关系。我们提出了一种统一的方法，如我们的时序卷积网络（Temporal Convolutional Network, TCN）所示，该方法分层次地在低、中、高时间尺度上捕捉关系。我们的模型在三个公开的动作分割数据集上使用视频或传感器数据时表现出优于或媲美现有方法的性能，并且可以在训练RNN所需时间的一小部分内完成训练。