4 个月前

基于可微凸优化的元学习

基于可微凸优化的元学习

摘要

许多用于少样本学习的元学习方法依赖于简单的基础学习器,如最近邻分类器。然而,即使在少样本场景中,判别训练的线性预测器也能提供更好的泛化能力。我们提出使用这些预测器作为基础学习器来学习少样本学习的表示,并展示了它们在一系列少样本识别基准测试中提供了特征尺寸与性能之间的更好权衡。我们的目标是学习能够在新类别上通过线性分类规则实现良好泛化的特征嵌入。为了高效地解决这一目标,我们利用了线性分类器的两个特性:凸问题最优条件的隐式微分和优化问题的对偶形式。这使得我们可以在计算开销适度增加的情况下使用高维嵌入以提高泛化能力。我们的方法称为MetaOptNet,在miniImageNet、tieredImageNet、CIFAR-FS和FC100少样本学习基准测试中达到了最先进的性能。我们的代码可在https://github.com/kjunelee/MetaOptNet 获取。

代码仓库

goldblum/AdversarialQuerying
pytorch
GitHub 中提及
kjunelee/MetaOptNet
官方
pytorch
GitHub 中提及
cyvius96/few-shot-meta-baseline
pytorch
GitHub 中提及
xiangyu8/PT-MAP-sf
pytorch
GitHub 中提及
nupurkmr9/S2M2_fewshot
pytorch
GitHub 中提及
yinboc/few-shot-meta-baseline
pytorch
GitHub 中提及

基准测试

基准方法指标
few-shot-image-classification-on-cifar-fs-5MetaOptNet-SVM-trainval
Accuracy: 72.8
few-shot-image-classification-on-cifar-fs-5-1MetaOptNet-SVM-trainval
Accuracy: 85
few-shot-image-classification-on-fc100-5-wayMetaOptNet-SVM-trainval
Accuracy: 47.2
few-shot-image-classification-on-fc100-5-way-1MetaOptNet-SVM-trainval
Accuracy: 62.5
few-shot-image-classification-on-mini-2MetaOptNet-SVM-trainval
Accuracy: 64.09
few-shot-image-classification-on-mini-3MetaOptNet-SVM-trainval
Accuracy: 80
few-shot-image-classification-on-tieredMetaOptNet-SVM-trainval
Accuracy: 65.81
few-shot-image-classification-on-tiered-1MetaOptNet-SVM-trainval
Accuracy: 81.75

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于可微凸优化的元学习 | 论文 | HyperAI超神经