摘要

许多人类活动需要几分钟才能展开。为了表示这些活动，相关研究通常选择统计池化方法，但这种方法忽略了时间结构。另一些研究则选择了卷积方法，如卷积神经网络（CNN）和非局部网络（Non-Local）。虽然这些方法在学习时间概念方面取得了成功，但在建模几分钟长的时间依赖关系方面仍显不足。我们提出了一种名为VideoGraph的方法，旨在结合两者的优点：既能表示几分钟长的人类活动，又能学习其潜在的时间结构。VideoGraph通过图结构来表示人类活动，其中图的节点和边完全从视频数据集中学习得到，这使得VideoGraph适用于没有节点级注释的问题。实验结果表明，在Epic-Kitchens和Breakfast基准测试中，VideoGraph相比相关工作有显著改进。此外，我们还证明了VideoGraph能够在几分钟长的视频中有效学习人类活动的时间结构。