摘要

人际相互作用识别（也称为交互识别）是人类活动分析领域的一个重要研究分支。当前该领域的解决方案——主要由卷积神经网络（CNN）、图卷积网络（GCN）和长短期记忆网络（LSTM）主导——通常包含复杂的架构和机制，以在架构本身中嵌入两个人之间的关系，从而确保交互模式能够被正确学习。我们在本工作中提出了一种简单而强大的架构，命名为交互关系网络（Interaction Relational Network），该网络利用了最少的人体结构先验知识。我们推动网络自行识别如何关联互动个体的身体部位。为了更好地表示交互，我们定义了两种不同的关系，从而为每种关系设计了专门的架构和模型。这些多关系模型随后将融合到一个独特且单一的架构中，以便充分利用两者的信 息流进一步增强关系推理能力。此外，我们定义了重要的结构化成对操作，从每对关节中提取有意义的额外信息——距离和运动。最终，通过与LSTM的结合，我们的IRN具备了卓越的序列关系推理能力。我们对网络所做的这些重要扩展也可以为其他需要复杂关系推理的问题提供价值。我们的解决方案能够在传统的交互识别数据集SBU和UT上实现最先进的性能，并且在大规模数据集NTU RGB+D的相互作用部分也表现出色。此外，在NTU RGB+D 120数据集的交互子集上也取得了具有竞争力的性能。