摘要

人工神经网络的神经元最初是在对生物神经元了解远不如今天的情况下发明的。我们的研究探索了对核心神经元单元进行修改，以使其更接近生物神经元。这一修改基于以下认识：生物树突不仅仅是被动的激活通道，它们在将激活信号传递到细胞体的过程中还会计算复杂的非线性函数。本文探讨了一种新颖的“穿孔”（Perforated）反向传播系统，该系统使深度神经网络的人工神经元在编码相同特征时能够实现更好的性能。在网络初始训练阶段之后，向网络中添加额外的“树突节点”（Dendrite Nodes），并使用不同的目标对其进行单独训练：使这些节点的输出与原始神经元的剩余误差相关联。训练后的树突节点被冻结，而原始神经元则继续接受进一步训练，此时会考虑由树突节点提供的额外误差信号。可以多次重复训练原始神经元然后添加和训练树突节点的过程，直到达到满意的性能为止。我们的算法成功地应用于多个领域的现代最先进的PyTorch网络中，不仅提高了原有的准确性，还允许在不损失准确性的前提下显著压缩模型。