摘要

增量式终身学习是实现通用人工智能（Artificial General Intelligence）这一长期目标所面临的主要挑战之一。在现实应用场景中，学习任务以序列形式持续到来，机器学习模型必须能够不断吸收新知识，同时保留已习得的信息。当前的增量学习方法在性能上仍显著落后于那些一次性使用全部训练类别的先进累积式模型。本文提出一种名为RPS-Net的随机路径选择算法，该算法能够逐步为新任务选择最优路径，同时促进参数共享与复用。与依赖计算开销巨大的进化算法或强化学习的路径选择策略相比，本方法有效避免了额外的计算负担，同时实现了显著的性能提升。作为额外创新，所提出的模型将知识蒸馏与回溯机制（retrospection）与路径选择策略相结合，有效缓解了灾难性遗忘问题。为在已有知识与新知识之间维持平衡，我们设计了一种简洁的控制器，动态调节模型的可塑性。通过大量实验验证，所提出的方法在增量学习任务上显著超越现有最先进水平；同时，借助并行计算，该方法可实现恒定时间复杂度，其运行效率几乎与传统的深度卷积神经网络相当。