3 个月前

HyperShot:通过核超网络实现少样本学习

HyperShot:通过核超网络实现少样本学习

摘要

少样本模型旨在利用给定任务中极少量的标注样本进行预测。该领域的主要挑战在于“零样本”(one-shot)设置,即每个类别仅由一个样本代表。为此,我们提出HyperShot——一种融合核方法(kernel-based)与超网络(hypernetwork)范式的新型模型。与以往依赖梯度调整参数的参考方法不同,我们的模型通过任务嵌入(task embedding)动态切换分类模块的参数配置。在实际实现中,我们采用超网络结构,其输入为支持集数据的聚合信息,并输出针对特定任务量身定制的分类器参数。此外,我们引入基于核方法的支持样本表示,作为超网络的输入,以生成分类模块的参数。由此,模型不再依赖主干网络直接提供的特征值,而是基于支持样本嵌入之间的关系进行建模。得益于这一设计,我们的模型能够有效适应差异显著的各类任务。

代码仓库

gmum/few-shot-hypernets-public
官方
pytorch
GitHub 中提及

基准测试

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
HyperShot:通过核超网络实现少样本学习 | 论文 | HyperAI超神经