摘要

在本文中，我们重新探讨了传统的手工视频表示在动作识别中的应用，并通过基于卷积神经网络（CNN）的幻觉步骤为这些技术注入新的活力。尽管使用了RGB帧和光流帧，I3D模型（以及其他模型）仍然通过将其输出与改进的密集轨迹（IDT）及其低级视频描述符相结合而表现出色，这些描述符通过词袋（BoW）和费舍尔向量（FV）进行编码。然而，这种CNN与手工表示的融合由于预处理、描述符提取、编码和参数调优而耗时较长。因此，我们提出了一种端到端可训练的网络架构，该架构在训练阶段学习基于IDT的BoW/FV表示，并且可以轻松地与I3D模型集成。具体而言，每个分支在网络的最后一层一维卷积之前接收I3D特征图，并学习将这些特征图“转换”为BoW/FV表示。因此，我们的模型可以在测试阶段生成并使用这样的合成BoW/FV表示。我们展示了即使整个I3D光流分支的特征也可以被幻觉生成，从而简化了流程。我们的模型节省了20-55小时的计算时间，并在四个公开数据集上取得了最先进的结果。