摘要

尽管已有诸多关于手语翻译（Sign Language Translation, SLT）的开创性研究，但仍面临一个显著挑战：平行手语-文本数据量有限。为突破这一平行数据瓶颈，本文提出一种手语回译（Sign Back-Translation, SignBT）方法，将大量口语语言文本引入SLT训练过程。首先，利用文本到词素（gloss）的翻译模型，将单语文本回译为对应的词素序列；随后，在特征层面通过拼接来自预构建的词素到手语映射库中的片段，生成相应的手语序列；最终，合成的平行数据作为强补充数据，用于端到端编码器-解码器架构的SLT模型训练。为进一步推动SLT领域的研究，我们还构建了CSL-Daily——一个大规模连续手语翻译数据集。该数据集不仅提供口语语言的翻译文本，还包含逐词素级别的标注。数据主题聚焦于人们日常生活场景（如旅行、购物、医疗等），这些正是手语翻译最可能的应用场景。我们在CSL-Daily上系统报告了多种SLT方法的大量实验结果与深入分析。实验表明，采用所提出的SignBT方法后，显著超越了以往最先进的SLT模型，取得了实质性性能提升。