
摘要
零样本学习的目标是在训练阶段没有提供任何示例的情况下,通过将未见过的物体类别与已见过的物体类别关联起来,准确识别这些未见过的物体类别。我们提出从流形学习的角度来解决这一问题。我们的主要思想是将从外部信息中提取的语义空间与关注视觉特征识别的模型空间对齐。为此,我们引入了一组“幻影”(phantom)物体类别,它们的坐标同时存在于语义空间和模型空间中。作为字典中的基,这些“幻影”类别可以从有标签的数据中进行优化,使得合成的真实物体分类器达到最佳的区分性能。我们在四个零样本学习基准数据集上展示了我们方法相对于现有技术的优势,包括包含超过20,000个未见过类别的完整ImageNet Fall 2011数据集。
代码仓库
JudyYe/zero-shot-gcn
tf
GitHub 中提及
ruotianluo/zsl-gcn-pth
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| few-shot-image-classification-on-awa-0-shot | Synthesised Classifier | Accuracy: 72.9% |
| few-shot-image-classification-on-cub-200-2011-1 | Synthesised Classifier | Top-1 Accuracy: 54.7% |
| few-shot-image-classification-on-imagenet-0 | Synthesised Classifier | Accuracy: 1.5% |
| few-shot-image-classification-on-sun-0-shot | Synthesised Classifier | Accuracy: 62.7% |