摘要

在本工作中，我们结合三维卷积与后期时间建模方法进行动作识别。为此，我们用双向Transformer编码器表示（Bidirectional Encoder Representations from Transformers, BERT）层取代了传统三维卷积网络末端的时空全局平均池化（Temporal Global Average Pooling, TGAP）层，以借助BERT的注意力机制更有效地利用时间信息。实验结果表明，这一改进显著提升了多种主流三维卷积架构在动作识别任务中的性能，包括ResNeXt、I3D、SlowFast以及R(2+1)D。此外，我们在HMDB51和UCF101两个基准数据集上均取得了当前最优的识别结果，Top-1准确率分别达到85.10%和98.69%。相关代码已公开发布。