摘要

空间和时间流模型在视频动作识别中取得了巨大成功。大多数现有研究更加关注设计有效的特征融合方法，这些方法通常以分离的方式训练双流模型。然而，现有的工作很难保证不同流之间的区分性和探索互补信息。在本研究中，我们提出了一种新颖的合作跨流网络，该网络旨在探究多种不同模态的联合信息。通过端到端的学习方式，空间和时间流网络实现了特征提取的联合操作。该网络从一个连接块中提取不同模态的互补信息，该连接块的目标是探索不同流特征之间的相关性。此外，与传统的卷积神经网络（ConvNet）仅通过一个交叉熵损失学习深度可分离特征不同，我们提出的模型通过同时优化模态排序约束和交叉熵损失来增强深度学习特征的区分能力并减少不必要的模态差异，适用于同质和异质模态。模态排序约束包括模态内区分嵌入和模态间三元组约束，它减少了模态内和跨模态特征的变化。在三个基准数据集上的实验表明，通过合作进行外观和运动特征提取，我们的方法可以达到与现有结果相当或更优的性能。