摘要

大型语言模型（LLMs）如今使系统开发者能够通过提示（prompting）方式构建高效的自然语言处理（NLP）系统：仅需以自然语言描述任务并提供少量示例，即可实现功能。然而，从另一方面看，LLMs相较于传统的专用NLP模型，反而是一种倒退——它们在部署时需要大量计算资源，且往往受限于API调用的访问方式。本文提出了一种通用方法——Prompt2Model，该方法接收与LLM提示类似的自然语言任务描述，进而利用该描述训练出一种专用模型，从而更有利于实际部署。该过程包含多步骤流程：首先检索现有的数据集与预训练模型；随后利用LLMs生成新的数据集；最后在这些检索和生成的数据集上进行监督微调。在三个不同任务上的实验表明，当输入相同的少样本提示时，Prompt2Model所训练出的模型在性能上平均比强大的LLM gpt-3.5-turbo高出20%，同时模型规模最多可缩小700倍。此外，我们还证明，该方法生成的数据可用于对模型性能进行可靠估计，使模型开发者能够在部署前有效评估模型的可靠性。Prompt2Model已开源，项目地址为：https://github.com/neulab/prompt2model。