摘要

零样本学习（Zero-shot Learning, ZSL）模型依赖于学习一个联合嵌入空间，在该空间中，对象类别的文本/语义描述和对象图像的视觉表示可以被投影用于最近邻搜索。尽管深度神经网络在其他视觉问题（如图像标题生成）中成功地学习了从文本到图像的端到端模型，但现有的深度ZSL模型却很少，并且它们在性能上几乎没有超过那些利用深度特征表示但不学习端到端嵌入的ZSL模型。本文认为，使深度ZSL模型取得成功的关键在于选择合适的嵌入空间。我们建议使用视觉空间作为嵌入空间，而不是语义空间或中间空间。这是因为在这种空间中，后续的最近邻搜索会受到较少的中心点问题（hubness problem）的影响，从而变得更加有效。此外，这种模型设计还为多种语义模态（例如属性和句子描述）提供了一种自然机制，可以在端到端的方式下进行联合融合和优化。我们在四个基准数据集上进行了广泛的实验，结果表明我们的模型显著优于现有模型。代码可在以下地址获取：https://github.com/lzrobots/DeepEmbeddingModel_ZSL