HyperAIHyperAI

Command Palette

Search for a command to run...

使用快速权重记忆进行关联推理

Imanol Schlag Tsendsuren Munkhdalai Jürgen Schmidhuber

摘要

人类能够快速将不同刺激关联起来,从而在新情境中解决问题。我们提出了一种新型神经网络模型,该模型能够学习事实的状态表示,并通过组合这些表示实现此类关联推理。为此,我们在LSTM模型中引入了一种称为快速权重记忆(Fast Weight Memory, FWM)的关联记忆机制。在输入序列的每一步,通过可微分的操作,LSTM能够动态更新并维护存储在快速变化的FWM权重中的组合性关联。该模型通过梯度下降实现端到端训练,在组合性语言推理任务、部分可观测马尔可夫决策过程(POMDPs)的元强化学习以及小规模词汇级语言建模任务中均表现出色。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供