摘要

唇读旨在通过说话人的嘴部运动解码文本。近年来，针对英语的唇读方法在词汇级和句子级上都取得了显著进展。然而，与英语不同的是，普通话是一种声调语言，依赖于音高来区分词汇或语法意义，这大大增加了唇读任务的模糊性。本文提出了一种用于普通话唇读的级联序列到序列模型（CSSMCM），该模型在预测句子时显式地建模声调。声调基于视觉信息和句法结构进行建模，并与视觉信息和句法结构一起用于预测句子。为了评估CSSMCM，我们收集并发布了名为CMLR（Chinese Mandarin Lip Reading）的数据集，该数据集包含来自中国网络电视台网站的超过10万条自然句子。当在CMLR数据集上训练时，所提出的CSSMCM超过了最先进的唇读框架的性能，证实了显式建模声调对于普通话唇读的有效性。