摘要

深度神经网络（DNNs）是学习复杂但固定输入输出映射规则的强大工具，然而这限制了它们在更复杂和动态情况下的应用，因为在这些情况下，映射规则不是保持不变而是根据不同的上下文进行变化。为了克服这一限制，我们开发了一种新颖的方法，该方法结合了一种称为正交权重修改（OWM）的学习算法以及一个上下文依赖处理（CDP）模块。我们证明了通过使用OWM来解决灾难性遗忘问题，并利用CDP模块学习如何在不同上下文中重用特征表示和分类器，单一网络可以在线且持续地获取大量上下文依赖的映射规则，每条规则仅需约10个样本即可学会。这将使高度紧凑的系统能够逐步学习现实世界的众多规律，并最终在其环境中表现出适当的行为。