摘要

在不遗忘旧任务的前提下持续学习新任务的能力，由于灾难性遗忘（catastrophic forgetting）问题而面临严峻挑战。当新任务仅包含极少量标注训练样本时，这一挑战尤为突出。目前，大多数方法专注于类别增量学习（class-incremental learning），依赖充足的训练数据来为新增类别学习额外的模型参数。然而，这些方法难以直接扩展至增量回归任务，并在学习少样本新任务时极易出现严重过拟合。为此，本文提出一种基于深度嵌入空间的非参数化方法，以应对增量少样本学习问题。该方法将已学习任务的知识压缩为少量量化参考向量（quantized reference vectors），并通过在每个新任务中利用少量样本逐步向模型中添加新的参考向量，实现新任务的顺序学习。针对分类任务，我们采用最近邻分类策略，在稀疏数据条件下进行分类，并引入类内差异建模、遗忘抑制正则化以及参考向量校准机制，以有效缓解灾难性遗忘。此外，所提出的深度嵌入空间中的学习向量量化（Learning Vector Quantization, LVQ）方法可进一步定制为核平滑器（kernel smoother），用于处理增量少样本回归任务。实验结果表明，该方法在增量学习任务中显著优于现有主流方法。