3 个月前

基于自适应脉冲递归神经网络的精确高效时域分类

基于自适应脉冲递归神经网络的精确高效时域分类

摘要

受生物神经元更精细建模的启发,脉冲神经网络(Spiking Neural Networks, SNNs)作为更具生物合理性的神经计算模型,同时具备实现生物神经元能量效率的潜力,近年来受到广泛关注。然而,与经典人工神经网络(ANNs)相比,SNNs的性能长期表现不足。本文中,我们展示了一种新型代理梯度(surrogate gradient)方法,结合可调谐且自适应的循环脉冲神经元网络,在时间域内的挑战性基准任务(如语音识别与手势识别)上实现了SNNs的当前最优性能。该方法不仅超越了标准的古典循环神经网络(RNNs),且接近现代最优ANNs的性能水平。由于这些SNNs具有稀疏脉冲特性,我们理论分析表明,其计算效率相较于性能相当的RNNs可提升一至三个数量级。综上所述,SNNs展现出在人工智能硬件实现中极具吸引力的应用前景。

基准测试

基准方法指标
audio-classification-on-sscAdaptive SRNN
Accuracy: 74.2

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于自适应脉冲递归神经网络的精确高效时域分类 | 论文 | HyperAI超神经