摘要

唇读（lipreading）是视听语音识别中的关键组成部分。然而，现有的唇读方法通常将嘴唇整体建模，忽略了嘴唇各部分在感知口腔特征时所关注的差异性，导致整体模型难以精确拟合每个局部区域。此外，基于整张嘴唇的特征在不同说话人之间差异较大，使得训练数据集通常需要涵盖尽可能多的说话人，以保证模型的泛化能力。为此，本文提出一种基于局部区域的唇读方法（Part-based Lipreading, PBL），旨在缓解整体嘴唇模型与各局部区域之间的不匹配问题，同时降低模型对训练集中说话人身份的过度依赖。PBL方法对嘴唇进行分区域建模，并实现联合预测。该方法在卷积特征上采用统一的划分策略，生成多个局部区域的子结果，并最终融合这些子结果以完成识别。在大规模公开数据集LRW及其子集p-LRW（包含65个词汇）上进行了实验，以模拟机器人工作场景中逐步输入指令的实际情况。实验结果表明，PBL方法在LRW数据集上的词准确率达到82.8%，在p-LRW数据集上达到88.9%。最终，本文构建了一个基于PBL的端到端视听语音识别系统，在LRW数据集上实现了98.3%的词准确率，显著提升了识别性能。