摘要

在流媒体视频中，在线动作检测的目标是识别当前正在进行的动作。为此，先前的方法通常使用递归网络来建模当前动作帧的时间序列。然而，这些方法忽略了输入图像序列中不仅包含背景和无关动作，还包含感兴趣的动作用这一事实。针对在线动作检测任务，本文提出了一种新颖的递归单元，以显式地区分与正在进行的动作相关的信息与其他信息。我们将其命名为信息区分单元（Information Discrimination Unit, IDU），该单元根据输入信息与当前动作的相关性决定是否累积这些信息。这使得我们的带有IDU的递归网络能够学习更具区分性的表示，从而更准确地识别正在进行的动作。在两个基准数据集TVSeries和THUMOS-14上的实验表明，所提出的方法显著优于现有最先进方法。此外，通过进行全面的消融研究，我们进一步证明了所提出的递归单元的有效性。