摘要

近年来，由于大规模预训练语言模型（PLMs）强大的生成能力，数据集生成引起了广泛关注。本文提出了一种灵活且高效的零样本学习方法——\textsc{ZeroGen}。给定一个零样本任务，我们首先利用PLMs以无监督方式从零开始生成数据集；随后，基于合成的数据集对一个小型任务模型（如LSTM）进行监督训练。该方法使得最终的任务模型在推理阶段具有极高的效率，其参数量相比PLMs（如GPT2-XL）减少了数个数量级。除了无需人工标注且计算高效外，我们进一步认为，\textsc{ZeroGen} 从无数据模型无关知识蒸馏以及无参考文本生成评估的角度，也能提供有价值的洞见。在文本分类、问答和自然语言推理等不同自然语言处理任务上的实验与分析表明，\textsc{ZeroGen} 具有显著的有效性。