摘要

梯度反向传播（BP）需要对称的前馈和反馈连接——即前向和后向传递必须使用相同的权重。这一“权重传输问题”（Grossberg 1987）被认为是质疑BP生物合理性的主要原因之一。我们使用了15个不同的分类数据集，系统地研究了BP在多大程度上依赖于权重对称性。我们的研究在精神上与Lillicrap等人（Lillicrap et al. 2014）的演示惊人地相似，但在结果上是正交的。实验结果表明：(1) 反馈权重的大小对性能没有影响；(2) 反馈权重的符号很重要——前馈和对应的反馈连接之间的符号一致性越高，性能越好；(3) 当反馈权重具有随机大小且符号一致性为100%时，我们能够实现与SGD相同甚至更好的性能；(4) 某些归一化/稳定化方法对于这种非对称BP的有效运行是不可或缺的，特别是批量归一化（BN）（Ioffe和Szegedy 2015）和/或“批量曼哈顿”（BM）更新规则。