摘要

在本文中，我们提出了一种受光流算法启发的卷积层，用于学习运动表示。我们的表示流层是一种完全可微分的层，旨在捕捉卷积神经网络中任何表示通道内的“流动”，以进行动作识别。该层的迭代流优化参数与其他CNN模型参数一起以端到端的方式进行学习，从而最大化动作识别性能。此外，我们首次引入了通过堆叠多个表示流层来学习“流的流”表示的概念。我们进行了广泛的实验评估，证实了其在计算速度和性能方面均优于使用传统光流的动作识别模型。代码/模型可在此处获取：https://piergiaj.github.io/rep-flow-site/