摘要

在动作识别研究中，主要依赖于从RGB图像通过视觉传感器获取的外观信息与运动信息。然而，根据具体动作的特性，上下文信息（如图像中特定物体的存在情况，或全局共享的视觉信息）在定义动作时变得至关重要。例如，“踢球”与“跑步”之间的区别，关键在于球的存在与否。此外，某些动作具有典型的全局抽象姿态特征，这些特征可作为动作分类的重要依据。基于上述观察，本文提出一种多流网络模型，该模型综合考虑图像中的空间、时间及上下文线索，以提升动作识别性能。我们在两个不同的动作识别数据集上，采用C3D或膨胀3D卷积网络（Inflated 3D ConvNet, I3D）作为主干网络对所提方法进行了实验验证。实验结果表明，整体识别准确率均有所提升，充分证明了所提方法的有效性。