摘要

事件相机（event camera）作为一种新型仿生视觉传感器，因其低延迟、低功耗和高动态范围等优势，近年来受到广泛关注。然而，在基于事件的分类任务中，脉冲神经网络（Spiking Neural Network, SNN）仍面临过拟合这一关键问题，主要源于其相对较弱的空间表征能力。数据增强是一种简单而高效缓解过拟合、提升神经网络泛化能力的方法，且在图像处理领域中，基于显著性（saliency）的数据增强方法已被证明具有显著效果。然而，目前尚无有效方法能够从SNN中提取显著性图（saliency maps）。为此，本文首次提出脉冲层时间逐层重要性传播规则（Spiking Layer-Time-wise Relevance Propagation, SLTRP）与脉冲层逐层重要性传播规则（Spiking Layer-wise Relevance Propagation, SLRP），使SNN能够生成稳定且准确的类激活图（Class Activation Maps, CAMs）与显著性图。基于此，我们进一步提出EventRPG方法，通过在脉冲神经网络上引入重要性传播机制，实现更高效的增强策略。所提方法在多种SNN架构上进行了验证，在物体识别任务中取得了当前最优性能，分别在N-Caltech101和CIFAR10-DVS数据集上达到85.62%和85.55%的准确率；在动作识别任务SL-Animals上，准确率高达91.59%。相关代码已开源，地址为：https://github.com/myuansun/EventRPG。