摘要

以自我为中心的活动识别是视频分析中最具挑战性的任务之一。它需要对小物体及其操作进行细粒度的区分。尽管一些方法基于强监督和注意力机制，但它们要么消耗大量注释资源，要么未能考虑时空模式。在本文中，我们提出了一种称为LSTA（局部时空注意力）的机制，该机制能够在跟踪视频序列中的注意力时，专注于空间相关部分的特征。我们在一个端到端可训练的双流架构上展示了LSTA在以自我为中心的活动识别中的有效性，并在四个标准基准数据集上达到了最先进的性能。