摘要

深度神经网络（DNNs）在众多领域中已经达到了最先进的性能。然而，DNNs需要较高的计算时间，人们总是希望以更低的计算成本获得更好的性能。因此，我们研究了人类的体感系统，并设计了一种神经网络（脊柱网络，SpinalNet），以实现更高的精度和更少的计算量。传统的神经网络（NNs）中的隐藏层接收前一层的输入，应用激活函数，然后将结果传递给下一层。而在所提出的脊柱网络中，每一层被分为三个部分：1）输入部分，2）中间部分，3）输出部分。每层的输入部分接收一部分输入数据；每层的中间部分则接收前一层中间部分的输出以及当前层输入部分的输出。这使得传入权重的数量显著低于传统DNNs。脊柱网络还可以作为DNN的全连接层或分类层，并支持传统学习和迁移学习。我们在大多数DNNs中观察到，在较低计算成本的情况下，错误率有显著降低。使用脊柱网络分类层的传统学习方法在VGG-5网络上提供了QMNIST、Kuzushiji-MNIST、EMNIST（字母、数字和平衡）数据集上的最先进（SOTA）性能。而使用ImageNet预训练初始权重和脊柱网络分类层的传统学习方法，则在STL-10、Fruits 360、Bird225和Caltech-101数据集上提供了最先进（SOTA）性能。所提出的脊柱网络的脚本可在以下链接获取：https://github.com/dipuk0506/SpinalNet