4 个月前

基于注意力的置信度

基于注意力的置信度

摘要

生成翻译的注意力分布是基于注意力机制的循环神经网络翻译模型的一个有用副产品,可以被视为输入和输出标记之间的软对齐。在本研究中,我们将注意力分布用作输出翻译的置信度指标。我们提出了两种利用注意力分布的策略:从大规模回译语料库中过滤掉质量较差的翻译,以及在两个不同翻译系统的混合设置中选择最佳翻译。尽管人工评估显示我们的置信度评分与人类判断之间仅有较弱的相关性,但这些应用场景展示了显著的改进效果,在英语-德语和英语-拉脱维亚语翻译测试中,过滤策略最多提高了2.22个BLEU分,而混合翻译策略则提高了0.99个BLEU分。

代码仓库

基准测试

基准方法指标
machine-translation-on-wmt-2017-latvianAttention-based Hybrid NMT combination
BLEU: 14.83

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于注意力的置信度 | 论文 | HyperAI超神经