摘要
本文提出了一种最先进的循环神经网络（RNN）语言模型，该模型不仅从最终的RNN层计算概率分布，还结合了中间层的概率分布。我们提出的方法基于Yang等人（2018）引入的语言建模矩阵分解解释，提高了语言模型的表达能力。该方法改进了当前最先进的语言模型，并在标准基准数据集Penn Treebank和WikiText-2上取得了最佳成绩。此外，我们指出所提出的方法在两个应用任务中也表现出色：机器翻译和标题生成。我们的代码已公开发布在：https://github.com/nttcslab-nlp/doc_lm。
代码仓库
nttcslab-nlp/doc_lm
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| constituency-parsing-on-penn-treebank | LSTM Encoder-Decoder + LSTM-LM | F1 score: 94.47 |
| language-modelling-on-penn-treebank-word | AWD-LSTM-DOC x5 | Params: 185M Test perplexity: 47.17 Validation perplexity: 48.63 |
| language-modelling-on-penn-treebank-word | AWD-LSTM-DOC | Params: 23M Test perplexity: 52.38 Validation perplexity: 54.12 |
| language-modelling-on-wikitext-2 | AWD-LSTM-DOC | Number of params: 37M Test perplexity: 58.03 Validation perplexity: 60.29 |
| language-modelling-on-wikitext-2 | AWD-LSTM-DOC x5 | Number of params: 185M Test perplexity: 53.09 Validation perplexity: 54.19 |