摘要

当标记训练数据稀缺时，一种有前景的数据增强方法是利用未知类别的属性生成其视觉特征。为了学习卷积神经网络（CNN）特征的类别条件分布，这些模型依赖于图像特征和类别属性的配对。因此，它们无法利用大量未标记的数据样本。在本文中，我们提出了一种统一的特征生成框架来解决任意样本学习问题，即零样本和少样本学习，并且该框架既适用于归纳学习也适用于转换学习设置。我们开发了一种条件生成模型，结合了变分自编码器（VAE）和生成对抗网络（GANs）的优势，并通过一个无条件判别器学习未标记图像的边缘特征分布。实验结果表明，我们的模型为五个数据集（CUB、SUN、AWA 和 ImageNet）生成了高度区分性的 CNN 特征，并在任意样本学习中建立了新的最先进水平，即在归纳和转换（广义）零样本和少样本学习设置中。此外，我们还展示了所学特征的可解释性：通过将其逆变换回像素空间进行可视化，并通过生成文本论据来解释为何这些特征与特定标签相关联。