摘要
在广义零样本学习中，许多方法依赖于图像特征空间和类别嵌入空间之间的跨模态映射。由于标注图像的成本较高，一种方向是通过生成图像或图像特征来扩充数据集。然而，前者会丢失细粒度的细节，而后者则需要学习与类别嵌入相关的映射。在这项工作中，我们将特征生成进一步推进，并提出了一种模型，该模型通过特定模态对齐的变分自编码器（Variational Autoencoders, VAE）来学习图像特征和类别嵌入的共享潜在空间。这使得我们在潜在特征中保留了关于图像和类别的必要判别信息，并在此基础上训练一个softmax分类器。我们方法的关键在于将从图像和辅助信息中学到的分布对齐，以构建包含未见类别所需多模态信息的潜在特征。我们在多个基准数据集上评估了所学的潜在特征，包括CUB、SUN、AWA1和AWA2，并在广义零样本学习以及少样本学习方面建立了新的最先进水平。此外，我们在ImageNet上的各种零样本划分实验结果表明，我们的潜在特征在大规模设置下也具有良好的泛化能力。
代码仓库
edgarschnfld/CADA-VAE-PyTorch
官方
pytorch
GitHub 中提及
sanixa/CADA-VAE-pytorch
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| generalized-few-shot-learning-on-awa2 | CADA-VAE | Per-Class Accuracy (1-shot): 69.6 Per-Class Accuracy (10-shots): 80.2 Per-Class Accuracy (2-shots): 73.7 Per-Class Accuracy (20-shots): 80.9 Per-Class Accuracy (5-shots): 78.1 |
| zero-shot-skeletal-action-recognition-on-ntu | CADA-VAE | Accuracy (12 unseen classes): 28.96 Accuracy (5 unseen classes): 76.84 Random Split Accuracy: 60.74 |
| zero-shot-skeletal-action-recognition-on-ntu-1 | CADA-VAE | Accuracy (10 unseen classes): 59.53 Accuracy (24 unseen classes): 35.77 Random Split Accuracy: 45.14 |
| zero-shot-skeletal-action-recognition-on-pku | CADA-VAE | Random Split Accuracy: 60.74 |