摘要

这项研究旨在识别视频中不同语义层次的人类活动，包括个人动作、互动和群体活动。通过使用两级层次的长短期记忆（LSTM）网络构建前馈深度架构来实现这一目标，该架构可以进行端到端训练。与现有的LSTM架构相比，我们在方法上做出了两项关键贡献，因此将其命名为置信能量递归网络（Confidence-Energy Recurrent Network，CERN）。首先，我们没有使用常见的softmax层进行预测，而是设计了一种新的能量层（Energy Layer，EL）来估计预测的能量值。其次，我们没有采用常见的最小能量类别分配方法（在不确定性条件下可能数值不稳定），而是规定EL还计算解的p值，从而估算最可信的能量最小值。在Collective Activity和Volleyball数据集上的评估表明：(i) 我们的两项贡献相对于常用的softmax和能量最小化公式具有优势；(ii) 与现有最先进的方法相比，我们的性能更为优越。