摘要

基于脉冲神经网络（SNNs）的类脑物体识别是低功耗类脑计算的核心。然而，现有的SNNs在识别类脑物体时存在显著的延迟问题，通常需要10到40个时间步或更多。在低延迟情况下，现有SNNs的性能会大幅下降。在这项工作中，我们提出了一种缩放脉冲神经网络（Shrinking SNN, SSNN），以实现在不降低性能的前提下进行低延迟的类脑物体识别。具体而言，我们通过将SNNs划分为多个阶段并逐步减少时间步来缓解其时间冗余问题，从而显著降低了推理延迟。在时间步缩放过程中，时间变换器平滑地转换时间尺度，并最大限度地保留了信息。此外，我们在训练过程中为SNN添加了多个早期分类器，以减轻代理梯度与真实梯度之间的不匹配以及梯度消失/爆炸的问题，从而消除了低延迟下的性能下降。在类脑数据集CIFAR10-DVS、N-Caltech101和DVS-Gesture上的大量实验表明，SSNN能够将基线准确率提高6.55%至21.41%。仅使用5个平均时间步且没有任何数据增强的情况下，SSNN在CIFAR10-DVS上实现了73.63%的准确率。这项工作展示了异构时间尺度的SNN，并为高性能、低延迟SNN的发展提供了宝贵的见解。