
摘要
由于已见类别和未见类别之间存在极端的训练数据不平衡问题,现有的大多数最先进方法在应对具有挑战性的广义零样本学习任务时无法取得令人满意的结果。为了解决未见类别标注样本的需求,我们提出了一种新颖的生成对抗网络(GAN),该网络能够在类级别的语义信息条件下合成卷积神经网络(CNN)特征,从而提供了一条从类别的语义描述直接到条件特征分布的捷径。我们提出的这种方法结合了Wasserstein GAN和分类损失,能够生成足够有区分度的CNN特征以训练softmax分类器或任何多模态嵌入方法。实验结果表明,在零样本学习和广义零样本学习两种设置下,我们的方法在五个具有挑战性的数据集——CUB、FLO、SUN、AWA和ImageNet上均显著提高了准确性。
代码仓库
akku1506/Feature-Generating-Networks-for-ZSL
tf
GitHub 中提及
Abhipanda4/Feature-Generating-Networks
pytorch
GitHub 中提及
CristianoPatricio/zsl-methods
tf
GitHub 中提及
mkara44/f-clswgan_pytorch
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| generalized-zero-shot-learning-on-sun | f-CLSWGAN | Harmonic mean: 39.4 |
| zero-shot-learning-on-cub-200-2011 | f-CLSWGAN | average top-1 classification accuracy: 57.3 |
| zero-shot-learning-on-sun-attribute | f-CLSWGAN | average top-1 classification accuracy: 60.8 |