摘要

我们提出了一种基于原始音频和语音识别（ASR）生成的当前及历史话语转录文本的在线多模态对话行为（Dialogue Act, DA）分类框架。现有方法在多模态DA分类任务中受限于音频建模效果不佳以及融合策略过于滞后。通过在更细粒度层面融合多模态信息，并引入大语言模型与音频模型的最新进展以进行音频特征提取，我们显著提升了多模态DA分类性能。此外，我们进一步探究了自注意力（self-attention）与交叉注意力（cross-attention）机制在建模话语及对话上下文以支持DA分类任务中的有效性。在两个主流DA分类数据集MRDA和EMOTyDA上，我们的方法相较于当前最先进模型，F1得分实现了显著提升，增幅达3个百分点。