摘要

循环神经网络架构的持续创新为语言模型基准测试提供了大量看似最先进（state-of-the-art）的结果。然而，这些结果是在不同的代码库和有限的计算资源下进行评估的，这导致实验中存在不受控制的变量来源。我们使用大规模自动黑盒超参数调优重新评估了几种流行的架构和正则化方法，并得出了一个令人惊讶的结论：当适当正则化时，标准的LSTM架构优于最近提出的模型。我们在Penn Treebank和Wikitext-2语料库上建立了新的最先进水平，并在Hutter Prize数据集上建立了强大的基线模型。