摘要

长期动作包含诸多重要的视觉概念，例如物体、运动以及子动作等，这些概念之间存在多种复杂关系，我们称之为基本关系。在长期动作的时间演化过程中，这些基本关系会相互影响，从而形成对长期动作识别至关重要的高阶关系。本文提出一种基于图的高阶关系建模（Graph-based High-order Relation Modeling, GHRM）模块，用于挖掘长期动作中的高阶关系，以提升长期动作识别性能。在GHRM中，长期动作中的每一类基本关系均通过一个图结构进行建模，图中每个节点代表一段长视频片段。此外，在建模每一种基本关系时，GHRM会融合其他所有基本关系的信息，从而有效捕捉长期动作中的高阶关系。为进一步挖掘时间维度上的高阶关系，我们设计了GHRM层，包含一个时序GHRM分支和一个语义GHRM分支，分别用于建模局部时间维度上的高阶关系和全局语义维度上的高阶关系。在三个长期动作识别数据集（Breakfast、Charades和MultiThumos）上的实验结果表明，所提模型具有显著的有效性。