3 个月前

基于尖峰时间位移的卷积脉冲神经网络误差反向传播

基于尖峰时间位移的卷积脉冲神经网络误差反向传播

摘要

我们近期提出了STiDi-BP算法,该算法通过避免反向传播中的递归梯度计算,实现了基于单脉冲时间编码的多层脉冲神经网络(SNN)的训练。该算法采用线性近似方法计算脉冲延迟对膜电位的导数,并利用分段线性突触后电位的脉冲神经元,从而降低计算成本并简化神经处理的复杂性。本文进一步将STiDi-BP算法拓展至更深的网络结构和卷积架构中。在两个主流基准数据集——MNIST和Fashion-MNIST上的图像分类任务评估结果表明,该算法在深度SNN中具有良好的适用性,分别取得了99.2%和92.8%的分类准确率。此外,本文还关注内存存储与计算开销的降低问题。为此,我们提出了一种具有两组权重的卷积脉冲神经网络(CSNN):在反向传播过程中更新实值权重,而在前向传播中则使用其符号(即二值权重)。我们在MNIST和Fashion-MNIST两个数据集上对二值化CSNN进行了评估,结果表明其性能表现良好,相较于实值权重仅出现微小的准确率下降(分别约为0.6%和0.8%),具有极小的性能损失,验证了该方法在降低资源消耗方面的有效性。

基准测试

基准方法指标
image-classification-on-fashion-mnistStiDi-BP in R-CSNN
Accuracy: 92.8
Percentage error: 7.2
image-classification-on-mnistStiDi-BP in R-CSNN
Accuracy: 99.2

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于尖峰时间位移的卷积脉冲神经网络误差反向传播 | 论文 | HyperAI超神经