摘要

语音情感识别是一项具有挑战性的多模态任务，需要理解语言内容和声音细微差别。本文介绍了一种利用大型语言模型（LLMs）进行情感检测的新方法，这些模型在自然语言理解方面表现出色。为了克服大型语言模型处理音频输入的固有限制，我们提出了SpeechCueLLM方法，该方法将语音特征转化为自然语言描述，从而使大型语言模型能够在不改变架构的情况下通过文本提示执行多模态情感分析。我们的方法虽然简单但效果显著，优于需要结构修改的基线模型。我们在两个数据集上评估了SpeechCueLLM：IEMOCAP和MELD，结果显示其在情感识别准确性方面有显著提升，尤其是在高质量音频数据上表现更为突出。我们还探讨了不同大型语言模型的各种特征表示和微调策略的有效性。实验结果表明，加入语音描述可以使IEMOCAP上的平均加权F1分数提高超过2%（从70.111%提升到72.596%）。