3 个月前

手势语言翻译:基于教学视频的翻译

手势语言翻译:基于教学视频的翻译

摘要

自动手语翻译(SLT)向口语语言转换的技术进展,以往主要基于规模有限且领域受限的数据集进行评估。本研究通过在大规模、多领域的How2Sign数据集上提供首个基准测试结果,推动了该领域的技术发展。我们基于I3D视频特征,采用Transformer模型进行训练,并以简化版的BLEU作为验证指标,而非广泛使用的标准BLEU分数。实验结果显示,该方法在BLEU评分上达到8.03分。此外,我们公开发布了首个同类开源实现,旨在促进该领域后续研究的进一步发展。

代码仓库

imatge-upc/slt_how2sign_wicv2023
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
sign-language-translation-on-how2sign-
BLEU: 8.03

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
手势语言翻译:基于教学视频的翻译 | 论文 | HyperAI超神经