3 个月前

Itihasa:面向梵语到英语翻译的大规模语料库

Itihasa:面向梵语到英语翻译的大规模语料库

摘要

本文介绍了Itihasa,这是一个大规模的翻译语料库,包含93,000对梵文颂歌(shlokas)及其英文翻译。这些颂歌均摘自两部印度史诗——《罗摩衍那》(The Ramayana)与《摩诃婆罗多》(The Mahabharata)。我们首先阐述了构建此类语料库的动机,并通过实证分析揭示其内在复杂性与细微特征。随后,我们在该语料库上对标准翻译模型进行了基准测试,结果表明,即便采用当前最先进的Transformer架构,其表现依然欠佳,充分凸显了该数据集的高度复杂性。

基准测试

基准方法指标
machine-translation-on-itihasaBaseline (sn->en)
SacreBLEU: 7.49
machine-translation-on-itihasaBaseline (en->sn)
SacreBLEU: 7.59

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
Itihasa:面向梵语到英语翻译的大规模语料库 | 论文 | HyperAI超神经