摘要

时间动作提案生成是一个重要但具有挑战性的问题，因为富含动作内容的时间提案对于分析长时且包含大量无关内容的真实世界视频至关重要。该问题不仅要求方法能够生成具有精确时间边界的提案，还需要通过较少的提案以高召回率和高重叠度检索出覆盖真实动作实例的提案。为了解决这些难题，我们提出了一种有效的提案生成方法，称为边界敏感网络（Boundary-Sensitive Network, BSN），该方法采用了“局部到全局”的策略。在局部层面，BSN首先定位具有高概率的时间边界，然后直接将这些边界组合成提案。在全局层面，利用边界敏感提案特征，BSN通过评估一个提案在其区域内是否包含动作的置信度来检索提案。我们在两个具有挑战性的数据集上进行了实验：ActivityNet-1.3和THUMOS14，在这两个数据集中，BSN在高召回率和高时间精度方面优于其他最先进的时间动作提案生成方法。最后，进一步的实验表明，通过结合现有的动作分类器，我们的方法显著提升了最先进的时间动作检测性能。