摘要

绝大多数成功的深度神经网络都是使用随机梯度下降（SGD）算法的变体进行训练的。近期改进SGD的尝试可以大致分为两类方法：(1) 自适应学习率方案，如AdaGrad和Adam；(2) 加速方案，如重球法（heavy-ball）和Nesterov动量法。本文提出了一种新的优化算法——Lookahead，该算法与之前的这些方法正交，并迭代更新两组权重。直观上，该算法通过预览另一个优化器生成的快速权重序列来选择搜索方向。我们证明了Lookahead可以提高其内部优化器的学习稳定性并降低其方差，且计算和内存开销可忽略不计。我们通过实验证明，即使在ImageNet、CIFAR-10/100、神经机器翻译和Penn Treebank等数据集上使用默认超参数设置，Lookahead也能显著提升SGD和Adam的性能。