3 个月前

基于电流与门控机制的精确且能效高效的脉冲循环神经网络研究

基于电流与门控机制的精确且能效高效的脉冲循环神经网络研究

摘要

基于脉冲计算与通信的脉冲神经网络(Spiking Neural Networks, SNNs)在嵌入式应用中可能比人工神经网络(Artificial Neural Networks, ANNs)更具能效优势。然而,目前SNNs主要应用于图像处理任务,而音频处理由于其固有的时序特性,或许更契合SNN的动态行为。本文在脉冲音频数据集上,对基于漏电积分-放电(Leaky Integrate-and-Fire, LIF)模型的SNN与ANN进行了准确率与能效的对比评估。研究结果表明,在处理时序序列任务时,基于电流的LIF模型(Cuba-LIF)优于传统LIF模型。此外,门控循环网络在类似任务中已展现出优于简单循环网络的精度表现。因此,本文提出SpikGRU,即Cuba-LIF的门控循环版本。在本研究中最具挑战性的任务上,SpikGRU的准确率优于其他现有循环SNN模型。Cuba-LIF与SpikGRU均达到了当前最先进的准确率水平,其性能仅比最优ANN模型低不到1.1%,同时由于脉冲的高度稀疏性,其计算操作次数相比ANN最多可减少49倍,显著提升了能效表现。

基准测试

基准方法指标
audio-classification-on-sscSpikGRU
Accuracy: 77

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于电流与门控机制的精确且能效高效的脉冲循环神经网络研究 | 论文 | HyperAI超神经