摘要

人类即使在图像经历各种变形并丢失某些信息的情况下，仍然能够稳健地学习新的视觉概念。模仿这种行为并合成新概念的变形实例可能有助于视觉识别系统更好地进行单次学习，即从一个或少数几个样本中学习概念。我们的关键见解是，尽管这些变形后的图像可能不具备视觉上的真实性，但它们仍然保留了重要的语义信息，并对形成分类器决策边界做出了显著贡献。受最近元学习进展的启发，我们将一个元学习器与一个图像变形子网络相结合，该子网络生成额外的训练样本，并以端到端的方式优化这两个模型。图像变形子网络通过融合一对图像——一张保持视觉内容的探针图像和一张用于多样化变形的画廊图像——来学习如何变形图像。我们在广泛使用的单次学习基准数据集（miniImageNet 和 ImageNet 1K 挑战数据集）上展示了实验结果，这些结果显著优于当前最先进的方法。代码可在 https://github.com/tankche1/IDeMe-Net 获取。