摘要

灾难性遗忘是指神经网络在训练后续任务后，丢失了先前任务中学习到的信息。这一问题仍然是具有顺序学习能力的人工智能系统面临的一个障碍。本文提出了一种基于任务的硬注意力机制，该机制能够在不影响当前任务学习的情况下保留先前任务的信息。通过随机梯度下降方法，每个任务都会同时学习一个硬注意力掩码，并利用之前的掩码来调节这种学习过程。我们展示了所提出的机制在减少灾难性遗忘方面是有效的，可以将当前的遗忘率降低45%至80%。此外，我们还证明了该机制对不同的超参数选择具有鲁棒性，并且提供了多种监控功能。该方法具备控制所学知识的稳定性和紧凑性的可能性，我们认为这使得它在在线学习或网络压缩应用中也具有吸引力。