摘要

在深度学习模型中，全连接（Fully Connected, FC）层在基于前层所学特征对输入进行分类方面扮演着至关重要的角色。FC层通常包含最多的参数，而对这些大量参数进行微调会消耗绝大部分计算资源。因此，本文旨在显著减少FC层的参数数量，同时提升模型性能。该研究的灵感来源于SpinalNet及其他生物结构。所提出的网络架构在输入层与输出层之间构建了一条梯度高速公路，有效缓解了深度网络中的梯度消失问题。在此架构中，每一层不仅接收前序层的输出，还直接接收卷积神经网络（CNN）层的特征输出，从而使得所有层均能参与最终决策过程，增强了信息流动与表征能力。该方法在分类性能上优于原始SpinalNet架构，并在多个数据集（包括Caltech101、KMNIST、QMNIST和EMNIST）上达到了当前最优（SOTA）水平。项目源代码已公开，可访问：https://github.com/praveenchopra/ProgressiveSpinalNet。