持续终身学习对于许多应用至关重要。在本文中，我们提出了一种简单而有效的持续深度学习方法。该方法结合了深度模型压缩、关键权重选择和渐进网络扩展的原则。通过以迭代方式强制这些原则的整合，我们引入了一种可扩展至连续任务数量的增量学习方法，适用于持续学习过程。我们的方法易于实现，并具有多个有利特性。首先，它可以避免遗忘（即在学习新任务的同时记住所有先前的任务）。其次，在处理连续任务时，它允许模型扩展但能保持模型的紧凑性。此外，通过我们的压缩和选择/扩展机制，我们证明了通过学习先前任务积累的知识有助于构建比独立训练每个任务更好的模型。实验结果表明，我们的方法能够在不遗忘的情况下逐步学习一个能够应对多个任务的深度模型，同时保持模型的紧凑性，并且性能优于单独任务训练。