HyperAIHyperAI

Command Palette

Search for a command to run...

上下文感知的元学习

Christopher Fifty Dennis Duan Ronald G. Junkins Ehsan Amid Jure Leskovec Christopher Re Sebastian Thrun

摘要

像ChatGPT这样的大型语言模型在推理过程中展现出无需微调即可学习新概念的惊人能力。然而,现有的视觉模型在推理阶段检测新物体时却难以复制这一能力,往往表现不佳,或需依赖元训练和/或针对相似物体的微调。在本工作中,我们提出了一种元学习算法,通过在推理过程中无需微调即可学习新的视觉概念,从而模拟大型语言模型的行为。我们的方法利用一个冻结的预训练特征提取器,并借鉴上下文学习(in-context learning)的思路,将视觉元学习建模为对已知标签数据点序列与一个未知标签测试数据点的序列建模问题。在11个元学习基准中的8个上,我们的方法在未进行元训练或微调的情况下,性能超越或达到当前最优算法P>M>F的水平,而后者是在这些基准上经过元训练的。相关代码已开源,地址为:https://github.com/cfifty/CAML


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
上下文感知的元学习 | 论文 | HyperAI超神经