HyperAIHyperAI

Command Palette

Search for a command to run...

基于CTC的单模态聚合语音识别

Ying Fang Xiaofei Li

摘要

本文研究非自回归自动语音识别(non-autoregressive automatic speech recognition)。为此,提出了一种单模态聚合(Unimodal Aggregation, UMA)方法,用于对属于同一文本词元(text token)的特征帧进行分割与整合,从而学习更优的文本词元特征表示。该方法中,帧级特征与权重均来源于编码器,随后利用单模态权重对特征帧进行聚合,并送入解码器进行进一步处理。训练过程中采用连接时序分类(Connectionist Temporal Classification, CTC)损失函数。相较于传统CTC方法,所提方法能够学习到更优的特征表示,并有效缩短序列长度,从而在降低识别错误率的同时减少计算复杂度。在三个普通话数据集上的实验结果表明,UMA在性能上优于或至少可媲美其他先进的非自回归方法,如自条件CTC(self-conditioned CTC)。此外,将自条件CTC机制引入所提出的框架后,系统性能可进一步显著提升。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供