4 个月前

用于一次性学习的匹配网络

用于一次性学习的匹配网络

摘要

从少量样本中学习仍然是机器学习领域的一个关键挑战。尽管在视觉和语言等重要领域取得了显著进展,但标准的监督式深度学习范式仍未提供一个令人满意的解决方案,以实现从少量数据中快速学习新概念。在这项工作中,我们借鉴了基于深度神经特征的度量学习以及最近将外部记忆与神经网络结合的技术。我们的框架学会了将一小批带有标签的支持集和一个未标记的示例映射到其标签,从而消除了为了适应新类别而进行微调的需要。随后,我们在视觉(使用Omniglot、ImageNet)和语言任务上定义了一次性学习问题。与竞争方法相比,我们的算法将ImageNet上的单次识别准确率从87.6%提高到93.2%,将Omniglot上的单次识别准确率从88.0%提高到93.8%。此外,我们还通过引入Penn Treebank上的单次任务来证明同一模型在语言建模中的实用性。

基准测试

基准方法指标
few-shot-image-classification-on-meta-datasetMatching Networks
Accuracy: 56.247
few-shot-image-classification-on-meta-dataset-1Matching Networks
Mean Rank: 10.5
few-shot-image-classification-on-mini-2Matching Nets (Cosine Matching Fn)
Accuracy: 46.6
few-shot-image-classification-on-mini-3Matching Nets (Cosine Matching Fn)
Accuracy: 60
few-shot-image-classification-on-mini-5MatchingNet (Vinyals et al., 2016)
Accuracy: 45.59
few-shot-image-classification-on-omniglot-1-1Matching Nets
Accuracy: 93.8%
few-shot-image-classification-on-omniglot-1-2Matching Nets
Accuracy: 98.1
few-shot-image-classification-on-omniglot-5-1Matching Nets
Accuracy: 98.5%
few-shot-image-classification-on-omniglot-5-2Matching Nets
Accuracy: 98.9
few-shot-image-classification-on-stanford-1Matching Nets FCE++
Accuracy: 47.50
few-shot-image-classification-on-stanford-2Matching Nets FCE++
Accuracy: 34.80
few-shot-image-classification-on-stanford-3Matching Nets FCE++
Accuracy: 44.70

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
用于一次性学习的匹配网络 | 论文 | HyperAI超神经