摘要

零样本动作识别（Zero-shot action recognition）是指在缺乏视觉样本的情况下，仅通过语义嵌入（semantic embedding）将未见类别与已见类别建立关联，从而实现动作类别的识别。该问题可被理解为学习一个具有良好泛化能力的函数，能够在不损失类别间区分性的情况下，有效处理未见类别的实例。神经网络能够建模视觉类别之间的复杂边界，这解释了其在监督学习任务中取得成功的原因。然而，在零样本学习场景下，这些针对已见类别高度定制的分类边界往往难以有效迁移到未见类别。本文提出一种基于中心点（centroid-based）的表示方法，该方法同时对视觉特征与语义表示进行聚类，一次性考虑所有训练样本，从而实现对未见类别实例的良好泛化能力。我们采用强化学习（Reinforcement Learning）优化聚类过程，实验表明该优化策略对方法的有效性至关重要。我们将所提方法命名为 CLASTER，并在多个标准数据集（包括 UCF101、HMDB51 和 Olympic Sports）上验证其性能，结果表明该方法在标准零样本评估以及广义零样本学习（generalized zero-shot learning）任务中均持续优于当前最先进方法。此外，我们还发现该模型在图像识别领域同样具备竞争力，在多种设置下均超越了现有最优性能。