摘要

时间动作检测旨在定位视频中动作的起止边界。当前基于边界匹配的方法通过枚举并计算所有可能的边界匹配来生成候选片段，然而这类方法忽略了边界预测中的长程上下文信息聚合。同时，由于相邻匹配具有相似的语义，对密集生成的匹配进行局部语义聚合难以提升语义丰富性与区分度。为此，本文提出一种端到端的候选生成方法——双层上下文聚合网络（Dual Context Aggregation Network, DCAN），通过在边界层级与候选片段层级两个层面实现上下文聚合，以生成高质量的动作候选片段，从而提升时间动作检测的性能。具体而言，我们设计了多路径时间上下文聚合模块（Multi-Path Temporal Context Aggregation, MTCA），以实现边界层级上的平滑上下文聚合，并精确评估边界位置。针对匹配关系的评估，我们进一步提出了粗到精匹配机制（Coarse-to-Fine Matching, CFM），在候选片段层级上聚合上下文信息，并逐步从粗粒度到细粒度优化匹配图。我们在 ActivityNet v1.3 和 THUMOS-14 两个标准数据集上进行了大量实验。实验结果表明，DCAN 在 ActivityNet v1.3 上取得了 35.39% 的平均 mAP，在 THUMOS-14 上于 IoU@0.5 条件下达到 54.14% 的 mAP，充分证明了该方法能够生成高质量的动作候选片段，并达到了当前最优的检测性能。相关代码已开源，地址为：https://github.com/cg1177/DCAN。