4 个月前

一种用于脉冲神经网络的突触阈值协同学习方法

一种用于脉冲神经网络的突触阈值协同学习方法

摘要

脉冲神经网络(SNNs)在各种智能场景中展示了卓越的能力。现有的大多数SNN训练方法都基于突触可塑性的概念;然而,真实大脑中的学习过程还利用了神经元的内在非突触机制。生物神经元的脉冲阈值是一个关键的内在神经元特征,它在毫秒时间尺度上表现出丰富的动态变化,并被提议作为促进神经信息处理的潜在机制。在这项研究中,我们开发了一种新的协同学习方法,该方法同时训练SNN中的突触权重和脉冲阈值。通过突触-阈值协同学习(Synapse-Threshold Synergistic Learning, STL-SNNs)训练的SNN在各种静态和类脑数据集上的表现显著优于通过两种退化的单一学习模型训练的SNN。在训练过程中,协同学习方法优化了神经元的阈值,通过适当的放电率提供了网络稳定的信号传输。进一步分析表明,STL-SNN对噪声数据具有较强的鲁棒性,并且对于深层网络结构表现出较低的能量消耗。此外,引入一种广义联合决策框架可以进一步提高STL-SNN的性能。总体而言,我们的研究结果表明,突触和内在非突触机制之间生物学上合理的协同作用可能为开发高效的SNN学习方法提供一条有前景的途径。

代码仓库

sunhongze/STL-SNN
官方
pytorch

基准测试

基准方法指标
event-data-classification-on-cifar10-dvs-1STL-SNN
Accuracy: 78.50
gesture-recognition-on-dvs128-gestureSTL-SNN
Accuracy (%): 97.22
sound-event-localization-and-detection-on-3STL-SNN
accuracy: 98.4

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
一种用于脉冲神经网络的突触阈值协同学习方法 | 论文 | HyperAI超神经