摘要

从大型语言模型（LLMs）中进行知识蒸馏对于语言模型的有效部署至关重要。先前的研究提出了使用LLMs生成数据以准备蒸馏模型的方法。我们认为，使用LLMs生成数据容易主要从原始内容分布的中心进行采样。这种局限性阻碍了蒸馏模型学习真实的数据分布，并可能导致其遗忘分布的尾部（概率较低的样本）。为此，我们提出了一种任务无关的数据生成和知识蒸馏框架GOLD，该框架采用了一种迭代的异常分布引导反馈机制来指导LLM。结果表明，生成的数据提高了蒸馏模型的泛化能力。此外，还引入了一种基于能量的异常分布评估方法来处理噪声生成数据。我们在10个不同的NLP分类和序列到序列任务上进行了广泛的实验，结果显示GOLD分别比现有技术和仅使用LLM平均提升了5%和14%。我们还将展示所提出的方法适用于较少探索和新颖的任务。代码已公开可用。