摘要

自动音频字幕生成是一项多模态任务，旨在用流畅的自然语言描述环境音频片段。当前大多数方法依赖预训练的分析模型从音频输入中提取相关的语义信息。然而，语言建模方面的先验知识通常未被充分引入，且由于数据稀缺，相关模型架构的表达能力受到限制。本文提出一种新方法，充分利用BART——一种大规模条件化语言模型，其经过通用预训练，蕴含丰富的语言信息。该方法以文本形式的AudioSet标签序列为输入，同时引入与时间对齐的音频嵌入，增强模型对声音事件的识别能力。整个BART架构仅通过少量额外参数进行微调。实验结果表明，除了模型架构本身的扩展性优势外，仅基于语言的预训练显著提升了多模态音频字幕生成任务中的文本质量。所提出的最优模型在AudioCaps数据集上取得了46.5的SPIDEr得分，达到当前最先进水平。