摘要

我们介绍了一种用于自然语言理解的记忆增强神经网络：神经语义编码器（Neural Semantic Encoders，NSE）。NSE 配备了一种新颖的记忆更新规则，并拥有一个可变大小的编码记忆，该记忆随着时间的推移而演变，通过读取、组合和写入操作来维持对输入序列的理解。NSE 还可以访问多个共享内存。在本文中，我们展示了 NSE 在五项不同的自然语言任务中的有效性和灵活性：自然语言推理、问答、句子分类、文档情感分析和机器翻译。在这些任务上，NSE 在公开可用的基准测试中取得了最先进的性能。例如，我们的共享内存模型在神经机器翻译任务中表现出令人鼓舞的结果，相较于基于注意力机制的基线模型，BLEU 分数提高了约 1.0。