摘要

对于通用人工智能（AGI），如果多个用户能够训练同一个大型神经网络，实现参数复用而不发生灾难性遗忘，这将是非常高效的。PathNet 是朝这个方向迈出的第一步。它是一种神经网络算法，通过在网络中嵌入代理来发现哪些部分可以用于新任务的复用。这些代理是穿过网络的路径（视图），它们决定了前向传播和反向传播过程中使用的参数子集以及更新的参数子集。在学习过程中，使用了一种锦标赛选择遗传算法来选择神经网络中的路径进行复制和变异。路径适应度是指根据代价函数测量的该路径的性能表现。我们展示了成功的迁移学习；固定在任务 A 上学到的路径上的参数，并重新演化出一个用于任务 B 的新路径群体，可以使任务 B 比从头开始学习或微调后的学习速度更快。在任务 B 上演化的路径会复用任务 A 上最优路径的部分。正向迁移已在二分类 MNIST、CIFAR 和 SVHN 监督学习分类任务以及一组 Atari 和 Labyrinth 强化学习任务中得到验证，表明 PathNets 在神经网络训练中具有广泛的应用前景。最后，PathNet 还显著提高了并行异步强化学习算法（A3C）对超参数选择的鲁棒性。