
摘要
属性作为中间表示,能够实现类别间的参数共享,这在训练数据稀缺的情况下尤为必要。我们提出将基于属性的图像分类问题视为一个标签嵌入(label-embedding)问题:每个类别被嵌入到属性向量的空间中。为此,我们引入了一个函数,用于衡量图像与标签嵌入之间的兼容性。该函数的参数在带标签样本的训练集上进行学习,以确保在给定一张图像时,正确类别在排序中优于错误类别。在 Animals With Attributes 和 Caltech-UCSD-Birds 数据集上的实验结果表明,所提出的框架在零样本学习(zero-shot learning)场景下优于标准的直接属性预测(Direct Attribute Prediction)基线方法。标签嵌入具备天然能力,可利用属性之外或额外的信息源,例如类别层次结构或文本描述等。此外,标签嵌入涵盖从零样本学习到拥有大量标注样本的常规学习的完整学习范式。
代码仓库
inars/developing_mc_for_zsl
GitHub 中提及
mvp18/Popular-ZSL-Algorithms
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| multi-label-zero-shot-learning-on-open-images | LabelEM | MAP: 40.5 |
| zero-shot-action-recognition-on-kinetics | ALE | Top-1 Accuracy: 23.4 Top-5 Accuracy: 50.3 |