HyperAIHyperAI

Command Palette

Search for a command to run...

元曲率

Eunbyung Park; Junier B. Oliva

摘要

我们提出了一种元曲率(Meta-Curvature, MC)框架,旨在通过学习曲率信息来实现更好的泛化能力和更快的模型适应。MC 在模型无关元学习器(Model-Agnostic Meta-Learner, MAML)的基础上进行了扩展,通过在内部优化过程中学习如何转换梯度,使得转换后的梯度在新任务上能够达到更好的泛化性能。为了训练大规模神经网络,我们采用了一种新颖的方案,将曲率矩阵分解为较小的矩阵,通过一系列张量积来捕捉模型参数之间的依赖关系。我们在多个少样本学习任务和数据集上展示了所提方法的效果。无需任何特定于任务的技术和架构,该方法在先前的 MAML 变体上实现了显著的改进,并且超越了最近的最先进方法。此外,我们观察到元训练过程的收敛速度更快。最后,我们进行了一项分析,解释了通过元训练获得的曲率为何能带来更好的泛化性能。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
元曲率 | 论文 | HyperAI超神经