摘要

近年来，长短期记忆网络（Long Short-Term Memory, LSTM）因其能够建模不同动态上下文中时间信息的能力，已成为单人动作识别中建模个体动态的热门选择。然而，现有的递归神经网络（Recurrent Neural Network, RNN）模型仅关注通过简单组合个体活动动态或将其整体建模来捕捉人际互动的时间动态。这种方法忽视了人际互动随时间变化的相互关联动态。为此，我们提出了一种新的并发感知长短期子记忆网络（Concurrence-Aware Long Short-Term Sub-Memories, Co-LSTSM），用于在覆盖人的边界框上建模两个人交互过程中长期的相互关联动态。具体而言，对于每一帧，两个子记忆单元存储个体运动信息，而一个并发LSTM单元则通过一个新的共记忆细胞（co-memory cell）有选择地整合并存储来自这两个子记忆单元的人际交互相关运动信息。在BIT和UT数据集上的实验结果表明，Co-LSTSM相比现有最先进方法具有显著优势。