摘要

许多自然语言处理的进展都基于更加丰富的模型，这些模型描述了输入与其出现上下文之间的交互方式。尽管递归神经网络取得了一定的成功，但它们仍然缺乏最终建模语言所需的泛化能力和系统性。在本研究中，我们提出了一种对经典的长短期记忆（LSTM）模型的扩展形式，即当前输入与前一输出之间的相互门控机制。这一机制使得输入与其上下文之间可以建模出更为丰富的交互空间。同样地，我们的模型也可以被视为使LSTM提供的转换函数依赖于上下文。实验结果表明，在Penn Treebank和Wikitext-2数据集上，该模型在语言建模任务中的泛化能力显著提高，困惑度降低了3-4个点；在四个基于字符的数据集上，比特每字符（bpc）指标降低了0.01-0.05。我们在所有数据集上均达到了新的最佳性能，除了Enwik8数据集，在该数据集上我们大幅缩小了LSTM与Transformer模型之间的差距。