摘要

提示调优（Prompt Tuning）是一种通过微调少量参数来引导预训练语言模型（LM）直接生成下游任务输出的技术。近期，该技术在自然语言处理（NLP）和语音处理领域均展现出优异的存储与计算效率。这些优势使得提示调优成为实现多任务统一服务预训练语言模型的有力候选方案。在语音处理领域，SpeechPrompt已在若干语音分类任务中表现出高度的参数效率和具有竞争力的性能。然而，其是否具备支持大量不同任务的能力仍待验证。为此，本文提出 SpeechPrompt v2，一种能够执行多样化语音分类任务的提示调优框架，涵盖多种语言及与语调相关的任务类型。实验结果表明，在统一框架下，SpeechPrompt v2 仅需少于 0.15M 的可训练参数，即可达到与现有先进方法相当的性能水平。