4 个月前

神经存储程序记忆

神经存储程序记忆

摘要

神经网络结合外部存储器可以模拟计算机行为。这些模型利用存储器来保存数据,供神经控制器使用,从而能够学习算法和其他复杂任务。在本文中,我们引入了一种新的存储器,用于保存控制器的权重,类似于现代计算机架构中的存储程序存储器。所提出的模型被称为神经存储程序存储器(Neural Stored-program Memory),增强了现有的带有存储器的神经网络,创建了可随时间切换程序、适应不同上下文的可微机器,从而与图灵通用机相似。一系列广泛的实验表明,这些机器不仅在经典算法问题上表现出色,还具有组合学习、持续学习、少量样本学习和问答任务的潜力。

代码仓库

thaihungle/NSM
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
question-answering-on-babiNUTM
Mean Error Rate: 5.6%

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
神经存储程序记忆 | 论文 | HyperAI超神经