3 个月前

基于少样本伪监督对比学习的无监督元学习

基于少样本伪监督对比学习的无监督元学习

摘要

无监督元学习旨在从无标签数据构建的任务分布中学习具有泛化能力的知识。在此背景下,主要挑战在于如何在缺乏标签信息的情况下构造多样化的任务;近期研究提出通过预训练表示进行伪标签生成,或利用生成模型创建合成样本等策略来构建任务。然而,这类任务构造方法存在根本性局限:其在元学习过程中高度依赖于不可更改的伪标签,且性能受限于表示质量或生成样本的质量。为克服上述限制,我们提出一种简单而有效的无监督元学习框架——伪监督对比学习(Pseudo-supervised Contrast, PsCo),用于少样本分类任务。该方法受近期自监督学习研究的启发,引入动量网络与历史批次队列机制,以逐步优化伪标签生成,并实现任务的渐进式多样化构建。大量实验结果表明,PsCo在多种域内与跨域少样本分类基准上均显著优于现有的无监督元学习方法。此外,我们进一步验证了PsCo具备良好的可扩展性,能够轻松适配大规模基准测试,而近期的先进元学习方案则难以实现此类扩展。

代码仓库

alinlab/psco
官方
pytorch
GitHub 中提及

基准测试

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于少样本伪监督对比学习的无监督元学习 | 论文 | HyperAI超神经