摘要

长时序建模与短时序建模是视频识别中两个互补且至关重要的方面。当前大多数先进方法主要关注短时序的时空建模，随后通过对多个片段（snippet）级别的预测结果进行平均，得到最终的视频级别预测。然而，这类方法在进行视频级预测时，并未充分考虑视频在时间维度上动态演变过程中的时空特征。为此，本文提出一种新颖的动态片段聚合（Dynamic Segment Aggregation, DSA）模块，用于捕捉片段之间的内在关联。具体而言，该模块通过自适应地生成卷积操作的动态核，实现对相邻片段间长时序信息的有效聚合。DSA模块具有高效、即插即用的特点，可与现成的基于片段的模型（如TSM、I3D）无缝结合，在几乎不增加计算开销的前提下，实现强大的长时序建模能力。由此构建的最终视频识别架构称为DSANet。我们在多个视频识别基准数据集（包括Mini-Kinetics-200、Kinetics-400、Something-Something V1和ActivityNet）上进行了大量实验，充分验证了该方法的优越性。实验结果表明，所提出的DSA模块能显著提升多种视频识别模型的性能。例如，在Kinetics-400数据集上，引入DSA模块后，I3D ResNet-50模型的Top-1准确率由74.9%提升至78.2%。相关代码已开源，地址为：https://github.com/whwu95/DSANet。