摘要

视听语音识别（Audio-Visual Speech Recognition, AVSR）通过融合听觉与视觉信息，在嘈杂环境中实现了鲁棒的语音识别。然而，近年来基于大语言模型（Large Language Model, LLM）的AVSR系统因LLM处理高时间分辨率的音视频语音信号，导致计算开销显著增加。针对这一问题，本文提出一种高效的多模态语音LLM框架，能够在最大程度压缩令牌（token）长度的同时，有效保留关键语言信息。本方法采用早期音视频融合模块，实现特征的高效整合；引入音视频语音Q-Former，根据输入时长动态分配令牌数量；并设计了一种优化的查询分配策略，结合语音速率预测器，根据每个音频样本的语速自适应调整令牌分配。在LRS3数据集上的大量实验表明，所提方法在仅使用每秒3.5个令牌的情况下，实现了0.72%的词错误率（WER），达到当前最优性能。此外，与先前的多模态语音LLM框架相比，本方法将令牌使用量降低86%，同时通过减少35.7%的浮点运算量（FLOPs），显著提升了计算效率。