
摘要
近年来,少样本学习领域取得了显著进展。这些进展大多来自于将少样本学习视为元学习问题。模型无关元学习(Model-Agnostic Meta-Learning, MAML)目前是通过元学习实现少样本学习的最佳方法之一。MAML 方法简单、优雅且非常强大,但同时也存在多种问题,例如对神经网络架构非常敏感,经常导致训练过程中的不稳定,需要繁琐的超参数搜索以稳定训练并实现高泛化性能,并且在训练和推理阶段都具有很高的计算成本。本文中,我们提出了对 MAML 的若干改进措施,不仅稳定了系统,还大幅提升了其泛化性能、收敛速度和降低了计算开销,我们将这种方法称为 MAML++。
代码仓库
AntreasAntoniou/HowToTrainYourMAMLPytorch
pytorch
GitHub 中提及
gebob19/REPTILE-Metalearning
pytorch
GitHub 中提及
Tikquuss/meta_XLM
pytorch
GitHub 中提及
lgcollins/tr-maml
pytorch
GitHub 中提及
hoyeoplee/pytorch-maml
pytorch
GitHub 中提及
JWSoh/MZSR
tf
GitHub 中提及
gebob19/cscd94_metalearning
pytorch
GitHub 中提及
hfahrudin/reptile_implement_tf2
tf
GitHub 中提及
dkalpakchi/ReproducingSCAPytorch
pytorch
GitHub 中提及
gebob19/cscd94-metalearning
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| few-shot-image-classification-on-mini-2 | MAML++ | Accuracy: 52.40 |
| few-shot-image-classification-on-mini-3 | MAML++ | Accuracy: 67.15 |
| few-shot-image-classification-on-omniglot-1-1 | MAML++ | Accuracy: 97.65 |
| few-shot-image-classification-on-omniglot-1-2 | MAML++ | Accuracy: 99.47 |
| few-shot-image-classification-on-omniglot-5-1 | MAML++ | Accuracy: 99.33% |
| few-shot-image-classification-on-omniglot-5-2 | MAML++ | Accuracy: 99.85% |