4 个月前

条件移位神经元的快速适应

条件移位神经元的快速适应

摘要

我们描述了一种机制,通过该机制,人工神经网络可以学习快速适应——即在数据量有限的情况下即时适应新任务的能力——我们称之为条件移位神经元(conditionally shifted neurons)。我们在元学习框架中应用了这一机制,其目标是使机器复制人类学习的部分灵活性。条件移位神经元通过从一个记忆模块中检索特定任务的偏移量来修改其激活值,而该记忆模块则基于有限的任务经验迅速填充。在来自视觉和语言领域的元学习基准测试中,增强条件移位神经元的模型取得了最先进的结果。

基准测试

基准方法指标
few-shot-image-classification-on-mini-2adaResNet (DF)
Accuracy: 56.88
few-shot-image-classification-on-mini-3adaResNet (DF)
Accuracy: 71.94
few-shot-image-classification-on-omniglot-1-1adaCNN (DF)
Accuracy: 96.12%
few-shot-image-classification-on-omniglot-1-2adaCNN (DF)
Accuracy: 98.42
few-shot-image-classification-on-omniglot-5-1adaCNN (DF)
Accuracy: 98.43%
few-shot-image-classification-on-omniglot-5-2adaCNN (DF)
Accuracy: 99.37

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
条件移位神经元的快速适应 | 论文 | HyperAI超神经