
摘要
人类神经系统利用突触可塑性来解决优化问题。以往的研究尝试在人工神经网络的训练过程中引入可塑性因素,但大多数这些模型需要对网络进行复杂的外部控制或采用复杂的新型规则。本文介绍了一种新颖的受自然启发的优化算法,该算法模仿了生物神经可塑性。此外,该模型在三个数据集上进行了测试,并将其结果与梯度下降优化方法进行了比较。
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| nature-inspired-optimization-algorithm-on | Gradient descent optimizer | training time (s): 282 |
| nature-inspired-optimization-algorithm-on | Position-wise optimizer | training time (s): 227 |
| nature-inspired-optimization-algorithm-on-1 | Position-wise optimizer | training time (s): 23 |
| nature-inspired-optimization-algorithm-on-1 | Gradient descent optimizer | training time (s): 50 |