3 个月前

元学习置信度在少样本学习中的应用

元学习置信度在少样本学习中的应用

摘要

归纳推理(Transductive inference)是应对少样本学习(few-shot learning)中数据稀缺问题的一种有效方法。在基于度量的少样本方法中,一种流行的归纳推理技术是利用最具置信度的查询样本的均值来更新每个类别的原型,或对所有查询样本采用置信度加权平均的方式。然而,这一方法存在一个关键问题:模型的置信度可能不可靠,从而导致错误预测。为解决这一问题,我们提出通过元学习(meta-learning)为每个查询样本自动学习其置信度,从而为未标记的查询样本分配最优权重,以提升模型在未见任务上的归纳推理性能。为此,我们通过在任务分布上对多种模型和数据扰动进行元学习,构建一种输入自适应的距离度量(input-adaptive distance metric),该机制能够在面对未见任务中的多样化不确定性时,强制模型预测的一致性。此外,我们还提出一种正则化策略,显式地约束高维嵌入向量在不同维度上的预测一致性,进一步增强模型鲁棒性。我们在四个基准数据集上对所提出的具有元学习置信度的少样本学习模型进行了验证,结果表明,该方法显著优于当前主流的强基线模型,并取得了新的最先进(state-of-the-art)性能。此外,在半监督少样本学习任务上的应用也展现出显著优于基线方法的性能提升。本方法的源代码已公开,可访问:https://github.com/seongmin-kye/MCT。

代码仓库

seongmin-kye/MCT
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
few-shot-image-classification-on-mini-1MCT
Accuracy: 78.55%
few-shot-image-classification-on-mini-2MCT
Accuracy: 78.55

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
元学习置信度在少样本学习中的应用 | 论文 | HyperAI超神经