摘要

近年来大规模语言模型（LLM）的惊人规模带来了诸多令人瞩目的特性，例如基于指令和思维链（chain-of-thought）的微调方法，显著提升了自然语言处理（NLP）任务中零样本（zero-shot）和少样本（few-shot）场景下的性能。受此成功启发，本文采用经过指令微调的大规模语言模型 Flan-T5 作为文本到音频（text-to-audio, TTA）生成任务中的文本编码器——该任务的目标是根据文本描述生成对应的音频。以往的TTA研究要么预训练了一个联合文本-音频编码器，要么使用了未经指令微调的模型（如T5）。相比之下，本文提出的基于潜在扩散模型（latent diffusion model, LDM）的方法TANGO，在AudioCaps测试集上多数指标上超越了当前最先进的AudioLDM模型，其余指标也保持相当水平。值得注意的是，TANGO仅在63倍更小的数据集上训练LDM，并且始终保持文本编码器冻结。这一性能提升可能还归功于在训练数据增强阶段采用了基于音频声压级（audio pressure level）的声音混合策略，而先前方法则采用随机混合方式。