4 个月前

多样性有助于:基于分布偏移的数据增强实现无监督少样本学习

多样性有助于:基于分布偏移的数据增强实现无监督少样本学习

摘要

少样本学习旨在在仅有少量训练样本的情况下学习新概念,近年来已得到广泛研究。然而,当前大多数工作在采用基于情景的训练范式时,严重依赖大规模标注辅助数据集来训练模型。这种监督设置基本上限制了少样本学习算法的广泛应用。相反,在本文中,我们开发了一种称为基于分布偏移的数据增强无监督少样本学习(ULDA)的新框架,该框架在使用数据增强构建预设少样本任务时关注每个任务内部的分布多样性。重要的是,我们强调了在基于增强的预设少样本任务中分布多样性的价值和重要性,这可以有效缓解过拟合问题,并使少样本模型学习到更加鲁棒的特征表示。在ULDA中,我们系统地研究了不同增强技术的效果,并提出通过多样化增强查询集和支持集(即分布偏移),以加强每个少样本任务中的分布多样性(或差异)。通过这种方式,即使结合简单的增强技术(例如随机裁剪、颜色抖动或旋转),我们的ULDA也能显著提升性能。实验结果表明,通过ULDA学习的少样本模型在Omniglot和miniImageNet上的多种已建立的少样本学习任务中表现出优异的泛化性能,并取得了最先进的结果。源代码可在https://github.com/WonderSeven/ULDA 获取。

代码仓库

WonderSeven/ULDA
官方
pytorch
GitHub 中提及

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
多样性有助于:基于分布偏移的数据增强实现无监督少样本学习 | 论文 | HyperAI超神经