摘要

在视频中建模长期上下文对于许多细粒度任务（如时间动作分割）至关重要。一个尚未解决的有趣问题是：达到最优性能究竟需要多长的长期时间上下文？尽管Transformer能够建模视频的长期时间上下文，但在处理长视频时，其计算开销变得难以承受。因此，近期关于时间动作分割的研究通常将时间卷积网络与仅在局部时间窗口内计算的自注意力机制相结合。尽管这些方法取得了良好的效果，但其性能受限于无法捕捉视频的完整上下文信息。在本工作中，我们通过引入一种基于Transformer的模型，利用稀疏注意力机制来捕捉视频的完整上下文，旨在回答“时间动作分割任务究竟需要多长的长期时间上下文”这一问题。我们在三个时间动作分割基准数据集——50Salads、Breakfast和Assembly101上，将所提模型与当前最先进方法进行了对比。实验结果表明，要实现时间动作分割的最佳性能，建模视频的完整上下文是必要的。