3 个月前

BaseTransformers:面向少样本学习的基数据点注意力机制

BaseTransformers:面向少样本学习的基数据点注意力机制

摘要

少样本分类旨在仅使用每个类别极少量样本的情况下,学习识别新类别。当前大多数少样本方法利用一个标注样本丰富的基础数据集来训练编码器,该编码器用于获取新类别支持集实例的特征表示。然而,由于测试样本的分布与基础数据集的分布不同,其特征表示质量较差,从而导致性能下降。本文提出在元测试阶段,利用与每个支持实例在特征空间中最为接近的基础数据集的高质量预训练表示,以优化支持实例的表示。为此,我们提出了BaseTransformers方法,该方法通过关注基础数据集特征空间中最相关区域,提升支持实例的特征表示能力。在三个基准数据集上的实验表明,该方法适用于多种主干网络,在归纳式单样本设置下取得了当前最优的性能表现。代码已开源,地址为:github.com/mayug/BaseTransformers。

代码仓库

mayug/basetransformers
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
few-shot-image-classification-on-mini-1BaseTransformers (Inductive)
Accuracy: 70.88%

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
BaseTransformers:面向少样本学习的基数据点注意力机制 | 论文 | HyperAI超神经