3 个月前

具有鲁棒性与加速特性的单脉冲脉冲神经网络训练方法及其在复杂时序任务中的应用

具有鲁棒性与加速特性的单脉冲脉冲神经网络训练方法及其在复杂时序任务中的应用

摘要

脉冲神经网络(Spiking Neural Networks, SNNs)中,尤其是单脉冲(single-spike)变体——即神经元最多仅发放一次脉冲——相较于传统人工神经网络(Artificial Neural Networks, ANNs),具有显著更高的能效。然而,由于其动态特性及非可微性,单脉冲SNNs的训练极具挑战性,现有方法要么训练速度缓慢,要么存在训练不稳定性问题。此外,这类网络还受到批评,认为其计算适用性有限,尤其在处理时间序列数据方面表现不佳。本文提出一种新型训练框架,有效缓解了上述训练难题,并在多种图像与类脑数据集上取得了具有竞争力的性能表现,相较多脉冲SNN,训练速度最高提升达13.98倍,脉冲发放数量减少高达81%。尤为关键的是,我们的模型在处理类脑时间序列数据的复杂任务中,性能可与多脉冲SNN相媲美,表明单脉冲SNN的计算能力远超以往认知,具备更广泛的应用潜力。

代码仓库

webstorms/fastsnn
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
audio-classification-on-shdFastSNN
Percentage correct: 70.32
image-classification-on-fashion-mnistFastSNN (MLP)
Accuracy: 89.05
image-classification-on-fashion-mnistFastSNN (CNN)
Accuracy: 90.57
image-classification-on-mnistFastSNN (CNN)
Accuracy: 99.3
image-classification-on-mnistFastSNN (MLP)
Accuracy: 97.91
image-classification-on-n-mnistFastSNN
Accuracy: 95.91

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
具有鲁棒性与加速特性的单脉冲脉冲神经网络训练方法及其在复杂时序任务中的应用 | 论文 | HyperAI超神经