摘要

由于脉冲神经网络（Spiking Neural Networks, SNNs）具备极低的能耗特性，近年来在类脑计算设备上模拟SNNs的研究兴趣日益增长。近期进展使得SNNs的训练性能已达到可与传统人工神经网络（Artificial Neural Networks, ANNs）在精度上相媲美的水平，同时在类脑硬件上运行时仍保持显著的能效优势。然而，当前SNN的训练过程仍依赖于为ANN设计的密集张量运算，未能充分利用SNN在时空上的稀疏特性。本文首次提出一种稀疏的SNN反向传播算法，在保持或超越现有最先进方法精度的同时，显著提升了计算速度并大幅降低了内存消耗。我们在多个复杂度不同的真实数据集（包括Fashion-MNIST、Neuromorphic-MNIST和Spiking Heidelberg Digits）上验证了该方法的有效性，结果显示反向传播阶段的加速比最高可达150倍，内存效率提升达85%，且未牺牲任何精度。