摘要

面对视频数据的爆炸式增长，当前昂贵的片段级分类器正变得日益不切实际。为此，我们提出一种高效的动作识别框架，利用音频作为预览机制，有效消除未剪辑视频中的短期与长期视觉冗余。首先，我们设计了ImgAud2Vid框架，通过从轻量级模态——单帧图像及其伴随音频——中提炼出片段级特征，从而降低短期时间冗余，实现高效的片段级识别。其次，在ImgAud2Vid的基础上，我们进一步提出ImgAud-Skimming，这是一种基于注意力机制的长短时记忆网络，可迭代地选择未剪辑视频中有用的关键时刻，显著减少长期时间冗余，实现高效的视频级识别。在四个动作识别数据集上的大量实验表明，我们的方法在识别准确率和运行速度两方面均达到了当前最优水平。