摘要

我们提出了一种在未剪辑视频上使用卷积神经网络的弱监督时序动作定位算法。该算法仅从视频级别的类别标签中学习，并且无需时序定位注释即可预测人类动作的时间区间。我们设计了网络中的注意力模块来识别与目标动作相关的视频中的稀疏关键片段，并通过自适应时序池化将这些关键片段融合。我们的损失函数由两部分组成，一部分最小化视频级别动作分类的错误，另一部分强制段选择的稀疏性。在推理阶段，我们利用时序类别激活和类别无关的注意力机制提取并评分时间提案，以估计对应于目标动作的时间区间。所提出的算法在THUMOS14数据集上达到了最先进的结果，并且即使在弱监督条件下也在ActivityNet1.3数据集上表现出色。