3 个月前

IM-Loss:脉冲神经网络的信息最大化损失

IM-Loss:脉冲神经网络的信息最大化损失

摘要

脉冲神经网络(Spiking Neural Network, SNN)作为一种具有生物合理性(biologically plausible)的网络架构,近年来受到广泛关注。SNN通过0/1脉冲信号传递信息,其仿生机制在类脑硬件上展现出极高的能效,因为该机制避免了在硬件实现中进行任何乘法运算。然而,前向传播过程中采用的0/1脉冲量化会导致信息损失,进而引起模型精度下降。为解决这一问题,本文提出了一种信息最大化损失函数(Information Maximization Loss, IM-Loss),旨在最大化SNN内部的信息流。该损失函数不仅能直接增强SNN的信息表达能力,还在推理阶段无需引入额外操作(如偏置项或缩放操作)的情况下,起到了类似归一化的作用。此外,本文提出了一种新颖的可微分脉冲活动估计方法——进化型代理梯度(Evolutionary Surrogate Gradients, ESG)。通过自动演化生成适用于脉冲激活函数的代理梯度,ESG能够在训练初期保证充分的模型更新,在训练后期实现精确的梯度传播,从而兼顾模型的快速收敛性与高任务性能。在多个主流的非脉冲静态数据集和类脑神经形态数据集上的实验结果表明,采用本文方法训练的SNN模型在性能上优于当前最先进的算法。

基准测试

基准方法指标
event-data-classification-on-cifar10-dvs-1IM-Loss (ResNet-19)
Accuracy: 72.60
image-classification-on-cifar-10IM-Loss (ResNet-19)
Percentage correct: 95.49
image-classification-on-cifar-100IM-Loss (VGG-16)
Percentage correct: 70.18

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
IM-Loss:脉冲神经网络的信息最大化损失 | 论文 | HyperAI超神经