3 个月前

通过赫布可塑性实现脉冲神经网络中的记忆增强型计算与学习

通过赫布可塑性实现脉冲神经网络中的记忆增强型计算与学习

摘要

记忆是生物神经系统的关键组成部分,能够实现从数百毫秒到数年不等的多种时间尺度上的信息保留。尽管赫布型可塑性(Hebbian plasticity)被认为在生物记忆中发挥着核心作用,但迄今为止,其研究主要局限于模式补全和无监督学习等场景。本文提出,赫布型可塑性在生物神经系统的计算过程中具有根本性意义。我们提出一种新型脉冲神经网络架构,该架构通过引入赫布型突触可塑性得以增强。研究结果表明,赫布型可塑性的引入显著提升了脉冲神经网络在计算能力与学习能力方面的多样性与适应性。该机制显著增强了网络在分布外泛化(out-of-distribution generalization)、单次学习(one-shot learning)、跨模态生成关联、语言处理以及基于奖励的学习等方面的表现。由于脉冲神经网络是构建能效高效类脑硬件的基础,本研究进一步表明,基于这一原理可实现具备强大认知能力的类脑计算系统。

代码仓库

igitugraz/memorydependentcomputation
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
question-answering-on-babiours
Accuracy (trained on 10k): 89.1%

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
通过赫布可塑性实现脉冲神经网络中的记忆增强型计算与学习 | 论文 | HyperAI超神经