
摘要
自动手语翻译(SLT)向口语语言转换的技术进展,以往主要基于规模有限且领域受限的数据集进行评估。本研究通过在大规模、多领域的How2Sign数据集上提供首个基准测试结果,推动了该领域的技术发展。我们基于I3D视频特征,采用Transformer模型进行训练,并以简化版的BLEU作为验证指标,而非广泛使用的标准BLEU分数。实验结果显示,该方法在BLEU评分上达到8.03分。此外,我们公开发布了首个同类开源实现,旨在促进该领域后续研究的进一步发展。
代码仓库
imatge-upc/slt_how2sign_wicv2023
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| sign-language-translation-on-how2sign | - | BLEU: 8.03 |