摘要

当前的动作识别系统在识别动作时通常需要大量标注训练数据。近年来，研究工作探索了零样本学习（zero-shot learning）与少样本学习（few-shot learning）的范式，旨在为未见类别或标注样本极少的类别学习分类器。受物体识别领域类似范式的启发，这些方法通常借助外部知识源（例如来自语言领域的知识图谱）。然而，与物体不同，目前尚不清楚何种知识表示形式最适合动作。本文旨在深入理解可用于零样本与少样本动作识别的知识图谱（Knowledge Graphs, KGs）的构建方式。具体而言，我们研究了三种不同的知识图谱构建机制：动作嵌入（action embeddings）、动作-物体嵌入（action-object embeddings）以及视觉嵌入（visual embeddings）。我们对不同知识图谱在多种实验设置下的影响进行了系统性分析。最后，为推动零样本与少样本学习方法的系统性研究，我们基于UCF101、HMDB51和Charades数据集，提出了一种改进的评估范式，用于评估在Kinetics数据集上训练的模型向目标数据集进行知识迁移的效果。