4 个月前

基于梯度的元学习:学习层间度量和子空间

基于梯度的元学习:学习层间度量和子空间

摘要

基于梯度的元学习方法利用梯度下降来学习不同任务之间的共性。尽管先前的方法在元学习任务中取得了成功,但在元测试阶段它们仍然依赖于简单的梯度下降。我们的主要贡献是提出了{\em MT-net},该网络使元学习器能够在每一层的激活空间中学习一个子空间,任务特定的学习器在这个子空间上执行梯度下降。此外,{\em MT-net}的任务特定学习器根据元学习的距离度量进行梯度下降,这使得激活空间对任务身份更加敏感。我们证明了所学子空间的维度反映了任务特定学习器适应任务的复杂性,并且我们的模型对初始学习率的选择不如之前的基于梯度的元学习方法那么敏感。我们的方法在少样本分类和回归任务上达到了最先进的或相当的性能。

代码仓库

yoonholee/MT-net
官方
tf
GitHub 中提及

基准测试

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于梯度的元学习:学习层间度量和子空间 | 论文 | HyperAI超神经