摘要

在本文中，我们基于自监督的概念，以RGB帧作为输入，学习预测动作概念和辅助描述符（例如，物体描述符）。所谓的幻觉流被训练用于预测辅助线索，同时输入到分类层中，并在测试阶段进行幻觉生成以辅助网络。我们设计并生成了两种描述符：一种利用四种流行的物体检测器应用于训练视频，另一种则利用图像级和视频级显著性检测器。第一个描述符编码了检测器和ImageNet类别的预测分数、置信度分数以及边界框的空间位置和帧索引，以捕捉每段视频中的时空特征分布。另一个描述符则编码了显著性图的空域-角度梯度分布和强度模式。受概率分布特征函数的启发，我们在上述中间描述符上捕获了四个统计矩。由于均值、协方差、三阶共矩和四阶共矩的系数数量分别随特征向量维度线性、二次、三次和四次增长，我们通过其前n个主特征向量（即子空间）来描述协方差矩阵，并捕获偏度/峰度而非代价高昂的三阶共矩/四阶共矩。我们在五个流行的数据集上取得了最先进的结果，如Charades和EPIC-Kitchens。