摘要

动作检测是一项重要且具有挑战性的任务，尤其在未剪辑视频的密集标注数据集上表现尤为突出。这类数据集中时间关系极为复杂，面临诸如复合动作（composite action）和共现动作（co-occurring action）等挑战。为在复杂视频中实现高效的动作检测，准确捕捉视频中短期与长期的时间信息至关重要。为此，我们提出了一种新型的ConvTransformer网络用于动作检测。该网络包含三个核心模块：（1）时间编码器（Temporal Encoder）模块，通过多时间尺度的分析，充分挖掘全局与局部的时间依赖关系；（2）时间尺度混合器（Temporal Scale Mixer）模块，有效融合多尺度特征，生成统一的特征表示；（3）分类模块，用于学习实例中心相对位置，并预测帧级别的分类得分。在多个数据集（包括Charades、TSU和MultiTHUMOS）上的大量实验验证了所提方法的有效性。结果表明，我们的网络在全部三个数据集上均优于现有最先进方法。