摘要

Prefix-tuning 是一种强大的轻量级技术，可用于将大型预训练语言模型适配至下游应用。然而，该方法对数据集中的所有样本均使用相同的、基于数据集层面调优的提示（prompt）。为此，我们拓展了这一思路，提出了一种动态方法——控制前缀（Control Prefixes），该方法能够引入与条件输入相关的依赖信息，融合了提示调优（prompt tuning）与可控生成的优势。该方法在预训练 Transformer 模型的不同层中引入了属性级别的可学习表征，从而能够引导生成文本朝特定方向演化。我们对该技术进行了系统性评估，并将其应用于 GEM 基准测试中五个自然语言生成（NLG）数据集。尽管本研究旨在构建参数高效的模型，但我们发现 Control Prefixes 在多数情况下甚至可超越全量微调（full fine-tuning）方法。在多个数据到文本生成数据集上，包括 WebNLG，我们取得了当前最先进的性能表现。