
摘要
少样本分类旨在仅凭每类少量标注图像即可识别新类别。现有的基于度量的少样本分类算法通过学习一个度量函数,将查询图像的特征嵌入与少量标注图像(支持样本)的特征嵌入进行比较,从而预测类别。尽管这类方法已展现出良好的性能,但由于不同领域间特征分布存在显著差异,其在未见领域上的泛化能力往往受限。本文针对基于度量的少样本分类方法在领域迁移下的性能问题提出解决方案。我们的核心思想是在训练阶段引入逐特征变换层(feature-wise transformation layers),利用仿射变换对图像特征进行增强,以模拟不同领域下多样化的特征分布。为进一步捕捉不同领域间特征分布的变化特性,我们进一步采用“元学习”(learning-to-learn)策略,自动搜索该变换层的超参数。我们在五个少样本分类数据集(mini-ImageNet、CUB、Cars、Places 和 Plantae)上进行了大量实验与消融研究,实验设置遵循领域泛化(domain generalization)范式。结果表明,所提出的逐特征变换层可广泛适配多种基于度量的模型,并在面对领域偏移时 consistently 提升少样本分类的性能。
代码仓库
hytseng0509/CrossDomainFewShot
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| cross-domain-few-shot-on-cars | FWT | 5 shot: 44.90 |
| cross-domain-few-shot-on-chestx | FWT | 5 shot: 25.18 |
| cross-domain-few-shot-on-cropdisease | FWT | 5 shot: 87.11 |
| cross-domain-few-shot-on-cub | FWT | 5 shot: 66.98 |
| cross-domain-few-shot-on-eurosat | FWT | 5 shot: 83.01 |
| cross-domain-few-shot-on-isic2018 | FWT | 5 shot: 43.17 |
| cross-domain-few-shot-on-places | FWT | 5 shot: 73.94 |
| cross-domain-few-shot-on-plantae | FWT | 5 shot: 53.85 |