
摘要
少样本分类(Few-shot classification)是指在只有少数示例的情况下学习新类别的分类器。尽管已经出现了大量模型来解决这一问题,但我们发现用于评估这些模型进展的程序和数据集存在不足。为了解决这一局限性,我们提出了Meta-Dataset:一个新的基准,用于训练和评估模型,其特点是大规模、包含多样化的数据集,并且呈现更加现实的任务。我们在Meta-Dataset上对流行的基线模型和元学习器进行了实验,并引入了一种具有竞争力的方法。我们分析了测试任务的各种特征对性能的影响,并考察了模型利用多样化训练源以提高泛化能力的能力。此外,我们还提出了一组新的基线模型,用于量化元学习在Meta-Dataset中的优势。我们的广泛实验揭示了一些重要的研究挑战,我们希望这些发现能够激发相关方向的研究工作。
代码仓库
tmlr-group/mokd
tf
GitHub 中提及
gebob19/REPTILE-Metalearning
pytorch
GitHub 中提及
peymanbateni/simple-cnaps
pytorch
google-research/meta-dataset
官方
tf
GitHub 中提及
cambridge-mlg/cnaps
pytorch
GitHub 中提及
gebob19/cscd94_metalearning
pytorch
GitHub 中提及
ebadrian/metadl
tf
GitHub 中提及
jimzai/deta
pytorch
GitHub 中提及
gomerudo/nas-dmrl
tf
GitHub 中提及
nobody-1617/deta
pytorch
GitHub 中提及
gokyeongryeol/MAHA
pytorch
GitHub 中提及
gebob19/cscd94-metalearning
pytorch
GitHub 中提及
tmlr-group/CoPA
tf
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| few-shot-image-classification-on-meta-dataset | fo-Proto-MAML | Accuracy: 63.428 |
| few-shot-image-classification-on-meta-dataset | k-NN | Accuracy: 54.319 |
| few-shot-image-classification-on-meta-dataset | Finetune | Accuracy: 58.758 |
| few-shot-image-classification-on-meta-dataset-1 | k-NN | Mean Rank: 10.85 |
| few-shot-image-classification-on-meta-dataset-1 | fo-Proto-MAML | Mean Rank: 6.65 |
| few-shot-image-classification-on-meta-dataset-1 | Finetune | Mean Rank: 8.7 |