摘要

在多人场景中识别群体活动时，建模参与者之间的关系至关重要。本文旨在利用深度模型高效地学习具有区分性的参与者关系。为此，我们提出构建一个灵活且高效的参与者关系图（Actor Relation Graph, ARG），以同时捕捉参与者之间的外观和位置关系。借助图卷积网络（Graph Convolutional Network），ARG 中的连接可以从群体活动视频中以端到端的方式自动学习，并且可以通过标准矩阵运算高效地进行推理。此外，在实际应用中，我们提出了两种变体来稀疏化 ARG，以便在视频中更有效地建模：空间局部化的 ARG 和时间随机化的 ARG。我们在两个标准的群体活动识别数据集上进行了广泛的实验：排球数据集和集体活动数据集，在这两个数据集上均取得了最先进的性能。我们还对所学的参与者图和关系特征进行了可视化，结果表明所提出的 ARG 能够捕捉用于群体活动识别的区分性关系信息。