摘要

循环神经网络（RNN），如长短期记忆网络（LSTM），是许多序列学习任务的基础构建模块，包括机器翻译、语言建模和问答系统。本文中，我们专注于词级语言建模的具体问题，并研究了针对基于LSTM模型的正则化和优化策略。我们提出了权重丢弃LSTM（weight-dropped LSTM），该方法通过在隐藏层到隐藏层的权重上应用DropConnect来实现循环正则化。此外，我们引入了一种名为NT-ASGD的平均随机梯度方法变体，其中平均触发条件是非单调条件，而非由用户调参确定。利用这些及其他正则化策略，我们在两个数据集上实现了最先进的词级困惑度：Penn Treebank上的57.3和WikiText-2上的65.8。在探索神经缓存与所提模型结合的有效性时，我们进一步在Penn Treebank上达到了52.8的更低的最先进的困惑度，在WikiText-2上达到了52.0。