
摘要
基于梯度的元学习方法利用梯度下降来学习不同任务之间的共性。尽管先前的方法在元学习任务中取得了成功,但在元测试阶段它们仍然依赖于简单的梯度下降。我们的主要贡献是提出了{\em MT-net},该网络使元学习器能够在每一层的激活空间中学习一个子空间,任务特定的学习器在这个子空间上执行梯度下降。此外,{\em MT-net}的任务特定学习器根据元学习的距离度量进行梯度下降,这使得激活空间对任务身份更加敏感。我们证明了所学子空间的维度反映了任务特定学习器适应任务的复杂性,并且我们的模型对初始学习率的选择不如之前的基于梯度的元学习方法那么敏感。我们的方法在少样本分类和回归任务上达到了最先进的或相当的性能。
代码仓库
yoonholee/MT-net
官方
tf
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| few-shot-image-classification-on-mini-2 | MT-Net | Accuracy: 51.7 |
| few-shot-image-classification-on-omniglot-1-1 | MT-net | Accuracy: 96.2% |
| few-shot-image-classification-on-omniglot-1-2 | MT-net | Accuracy: 99.5 |