4 个月前

通过联合学习对齐和翻译的神经机器翻译

通过联合学习对齐和翻译的神经机器翻译

摘要

神经机器翻译是一种最近提出的机器翻译方法。与传统的统计机器翻译不同,神经机器翻译的目标是构建一个单一的神经网络,该网络可以联合调优以最大化翻译性能。近年来为神经机器翻译提出的一些模型通常属于编码器-解码器家族,这些模型由一个编码器和一个解码器组成,其中编码器将源句子编码为固定长度的向量,而解码器则从该向量生成翻译结果。在本文中,我们推测使用固定长度向量是改进这种基本编码器-解码器架构性能的一个瓶颈,并提出通过允许模型自动(软)搜索与预测目标词相关的源句子部分来扩展这一方法,而无需显式地将这些部分形成硬片段。通过这种方法,我们在英法翻译任务上达到了与现有最先进的短语基系统相当的翻译性能。此外,定性分析表明,模型找到的(软)对齐结果与我们的直觉非常吻合。

代码仓库

yurayli/stanford-cs224n-sol
pytorch
GitHub 中提及
hiun/learning-transformers
pytorch
GitHub 中提及
mike-a-yen/date-translation
pytorch
GitHub 中提及
simonjisu/NMT
pytorch
GitHub 中提及
sooftware/attentions
pytorch
GitHub 中提及
jmyrberg/finnlem
tf
GitHub 中提及
neqkir/attention-mechanism
tf
GitHub 中提及
umeiko/mindspore-seq2seq
mindspore
GitHub 中提及
atpaino/deep-text-corrector
tf
GitHub 中提及
labdac/charlacompling
GitHub 中提及
hnt4499/seq2seq
pytorch
GitHub 中提及
SimonDele/Glossary
GitHub 中提及
schwartznir/AbstrEncap
tf
GitHub 中提及
huulinhcvp/chatBot
pytorch
GitHub 中提及
tree-park/kor-to-eng-translation
pytorch
GitHub 中提及
farizrahman4u/seq2seq
GitHub 中提及
cosmoquester/seq2seq
tf
GitHub 中提及
lucylow/En_francais_si_vous_plait-
pytorch
GitHub 中提及
Izecson/sockeye-1.16.6
tf
GitHub 中提及
Matthewdowney18/Yelp_seq2seq
pytorch
GitHub 中提及
leob03/Image_captionning
pytorch
GitHub 中提及
gongrennengzhi/nmt
GitHub 中提及
Shubham-SK/kronos
pytorch
GitHub 中提及
smisthzhu/attentionocr
tf
GitHub 中提及
awslabs/sockeye
mxnet
GitHub 中提及
moon23k/Attention_Anchors
pytorch
GitHub 中提及
YvesWang/Machine_Translation_NLP
pytorch
GitHub 中提及
mp2893/gram
GitHub 中提及
xingniu/sockeye
mxnet
GitHub 中提及
sh951011/Attention-Implementation
pytorch
GitHub 中提及
Nick-Zhao-Engr/Machine-Translation
pytorch
GitHub 中提及
aaaceo890/Attention
pytorch
GitHub 中提及
chao-ji/tf-seq2seq
tf
GitHub 中提及
insigh/THUMT
tf
GitHub 中提及
SwordYork/DCNMT
GitHub 中提及
vGkatsis/Chat_Bot_DL
pytorch
GitHub 中提及
thomlake/pytorch-attention
pytorch
GitHub 中提及
ykrmm/ICLR_2020
pytorch
GitHub 中提及
graykode/nlp-tutorial
pytorch
GitHub 中提及
AMNAALMGLY/NLP
GitHub 中提及
Guillem96/pointer-nn-pytorch
pytorch
GitHub 中提及
sen-pai/audio-word2vec-pytorch
pytorch
GitHub 中提及
brainsqueeze/text2vec
tf
GitHub 中提及
qq345736500/sarcasm
tf
GitHub 中提及
bentrevett/pytorch-seq2seq
pytorch
GitHub 中提及
shlokmehrotra/Convocare
pytorch
GitHub 中提及
ZurichNLP/sockeye
mxnet
GitHub 中提及
mayurnewase/Translation
GitHub 中提及
sooftware/nlp-attentions
pytorch
GitHub 中提及
A-Jacobson/minimal-nmt
pytorch
GitHub 中提及
jiangnanhugo/seq2seq_cuda
tf
GitHub 中提及
Izecson/saml-nmt
mxnet
GitHub 中提及
eske/seq2seq
tf
GitHub 中提及
sooftware/Attention-Implementation
pytorch
GitHub 中提及
thunlp-mt/ckd
pytorch
GitHub 中提及
ykrmm/TREMBA
pytorch
GitHub 中提及
slme1109/lyrics-generator
tf
GitHub 中提及
xhlulu/arxiv-assistant
GitHub 中提及
nrc-cnrc/sockeye-multisource
mxnet
GitHub 中提及
zhang0jhon/AttentionOCR
tf
GitHub 中提及
dalmia/Quora-Question-Pairs
tf
GitHub 中提及
AaronCCWong/Show-Attend-and-Tell
pytorch
GitHub 中提及
THUNLP-MT/THUMT
tf
GitHub 中提及
ldulcic/chatbot
pytorch
GitHub 中提及
Shubham-SK/TreeOverAte
pytorch
GitHub 中提及
Matthewdowney18/Yelp_attention
pytorch
GitHub 中提及
yinghao1019/NLP_and_DL_practice
pytorch
GitHub 中提及
TellinaTool/nl2bash
tf
GitHub 中提及
Baichenjia/NMT-eager
tf
GitHub 中提及
thumt/THUMT
tf
GitHub 中提及
lkfo415579/MT-Readling-List
tf
GitHub 中提及
IS5882/Open-CyKG
tf
GitHub 中提及
b-etienne/Seq2seq-PyTorch
pytorch
GitHub 中提及

基准测试

基准方法指标
bangla-spelling-error-correction-on-dpcspellGRUSeq2Seq
Exact Match Accuracy: 75.56
dialogue-generation-on-persona-chat-1Seq2Seq + Attention
Avg F1: 16.18
machine-translation-on-iwslt2015-germanBi-GRU (MLE+SLE)
BLEU score: 28.53
machine-translation-on-wmt2014-english-frenchRNN-search50*
BLEU score: 36.2

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
通过联合学习对齐和翻译的神经机器翻译 | 论文 | HyperAI超神经