摘要

我们提出了一种新型的跨模态融合技术，专用于自动语音识别（ASR）中的生成式纠错。该方法充分利用声学信息与外部语言表示，生成准确的语音转录上下文，标志着在n-best候选假设框架下生成式纠错领域迈向一种新范式。与现有的基于排序的重评分方法不同，我们的方法通过采用独特的初始化策略和参数高效算法，有效提升了基于预训练语音与文本模型的ASR性能。在多种ASR数据集上的实验评估表明，该融合技术具有良好的稳定性和可复现性，相较于传统的n-best候选假设，其相对词错误率（WERR）性能提升了37.66%。为促进后续研究，我们已将代码及预训练模型开源，地址为：https://github.com/Srijith-rkr/Whispering-LLaMA。