摘要

零样本学习（Zero-Shot Learning, ZSL）有望通过绕过传统模型训练中每个类别都需要标注示例的要求来扩展视觉识别能力。这是通过在辅助数据上建立连接低级特征和标签空间语义描述的映射，即视觉-语义映射，来实现的。利用所学的映射将目标视频投影到嵌入空间中，从而可以通过最近邻推理识别新类别。然而，现有的ZSL方法由于假设辅助类和目标类之间存在相同的映射而内在地遭受辅助-目标域偏移的影响，这削弱了ZSL在目标数据上的泛化准确性。在本研究中，我们通过改进具有更好泛化性能的视觉-语义映射以及一种动态数据重新加权方法来提高ZSL在这两个领域的泛化能力，该方法优先考虑与目标类相关的辅助数据。具体而言：我们引入了一种多任务视觉-语义映射，通过约束语义映射参数位于低维流形上来提高泛化能力；我们探索了优先数据增强方法，通过根据与目标域的相关性对额外实例进行加权来扩展辅助数据池。所提出的新型模型被应用于具有挑战性的零样本动作识别问题中，以展示其相对于现有ZSL模型的优势。