3 个月前

拉普拉斯正则化小样本学习

拉普拉斯正则化小样本学习

摘要

我们提出一种用于少样本学习任务的归纳式拉普拉斯正则化推理方法。给定从基础类别中学习得到的任意特征嵌入,我们最小化一个包含两项的二次二值分配函数:(1)一元项,将查询样本分配至最近的类别原型;(2)成对拉普拉斯项,促使邻近的查询样本获得一致的标签分配。我们的归纳式推理无需重新训练基础模型,可视为在查询集上进行图聚类,同时受到支持集提供的监督约束。我们推导出该函数松弛形式的一种计算高效的边界优化器,该优化器对每个查询样本执行独立(并行)更新,同时保证收敛性。在对基础类别进行简单的交叉熵训练后,无需复杂的元学习策略,我们在五个少样本学习基准上开展了全面实验。结果表明,我们的LaplacianShot在不同模型、不同设置和不同数据集上,均以显著优势超越当前最先进的方法。此外,我们的归纳式推理速度极快,计算时间接近于归纳式推理,适用于大规模少样本学习任务。

代码仓库

imtiazziko/LaplacianShot
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
few-shot-image-classification-on-dirichletLaplacian-Shot
1:1 Accuracy: 65.4
few-shot-image-classification-on-dirichlet-1Laplacian-Shot
1:1 Accuracy: 81.6
few-shot-image-classification-on-dirichlet-2Laplacian-Shot
1:1 Accuracy: 72.3
few-shot-image-classification-on-dirichlet-3Laplacian-Shot
1:1 Accuracy: 85.7
few-shot-image-classification-on-dirichlet-4Laplacian-Shot
1:1 Accuracy: 73.7
few-shot-image-classification-on-dirichlet-5Laplacian-Shot
1:1 Accuracy: 87.7

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
拉普拉斯正则化小样本学习 | 论文 | HyperAI超神经