摘要

近年来，多标签、多类别的视频动作识别技术受到了广泛关注。尽管对于智能生物而言，对时间上连续的原子动作进行推理是司空见惯的事情，但标准的人工神经网络（ANN）在分类这些动作时仍然面临挑战。在现实世界中，原子动作通常会按时间顺序连接起来形成更为复杂的复合动作。难点在于，在背景中存在其他不同的复合或原子动作的情况下，如何识别出持续时间各异的复合动作。借鉴关系网络的成功经验，我们提出了一些方法，旨在学习对物体和动作的语义概念进行推理。通过实证研究，我们展示了人工神经网络如何从预训练、关系归纳偏差以及无序集合的潜在表示中受益。本文提出了一种深度集条件下的I3D（SCI3D），这是一种双流关系网络，利用状态和视觉表示的潜在表示来对事件和动作进行推理。该方法能够学习对时间上连续的动作进行推理，以识别视频中的所有相关动作。在CATER数据集上，与I3D-NL基线模型相比，所提出的SCI3D方法在原子动作识别方面提升了约1.49%的平均精度（mAP），在复合动作识别方面则提升了17.57%的平均精度（mAP）。