摘要

克服时间变化的泛化是实现视频中有效动作识别的前提。尽管深度神经网络取得了显著进展，但在整体动作性能背景下，如何聚焦于短时判别性运动仍是一个挑战。为此，我们通过在发现相关时空特征时引入一定灵活性来应对这一难题。本文提出一种名为“压缩与递归时间门”（Squeeze and Recursion Temporal Gates, SRTG）的新方法，该方法倾向于选择在潜在时间变化下具有相似激活模式的输入。我们通过一种新型卷积神经网络（CNN）模块实现该思想：该模块利用长短期记忆网络（LSTM）捕捉特征动态，并结合一个时间门机制，用于评估所发现动态与建模特征之间的一致性。实验结果表明，引入SRTG模块可带来稳定性能提升，且仅带来极小的计算量增加（GFLOPs）。在Kinetics-700数据集上，我们的方法达到与当前最先进模型相当的性能；在HACS、Moments in Time、UCF-101和HMDB-51等数据集上，我们的方法均优于现有先进模型。