4 个月前

自监督原型迁移学习在少样本分类中的应用

自监督原型迁移学习在少样本分类中的应用

摘要

大多数少样本学习方法在(预)训练过程中依赖于目标任务领域的昂贵标注数据。最近,无监督元学习方法通过降低少样本分类性能来替代对标注数据的需求。与此同时,在存在实际领域偏移的情况下,常见的迁移学习已被证明优于有监督元学习。基于这些见解以及自监督学习的最新进展,我们提出了一种迁移学习方法,该方法构建了一个度量嵌入,将未标记的原型样本及其增强版本紧密聚类在一起。这种预训练的嵌入为少样本分类提供了一个起点,通过总结类别聚类并进行微调来实现。我们展示了我们的自监督原型迁移学习方法ProtoTransfer在mini-ImageNet数据集的少样本任务中超越了最先进的无监督元学习方法。在具有领域偏移的少样本实验中,我们的方法甚至可以与有监督方法相媲美,但所需的标签数量却减少了几个数量级。

代码仓库

ojss/samptransfer
pytorch
GitHub 中提及
indy-lab/ProtoTransfer
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
unsupervised-few-shot-image-classification-onProtoTransfer
Accuracy: 45.67
unsupervised-few-shot-image-classification-on-1ProtoTransfer
Accuracy: 62.99

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
自监督原型迁移学习在少样本分类中的应用 | 论文 | HyperAI超神经