摘要

我们引入了自适应输入表示方法，用于神经语言模型，该方法扩展了Grave等人（2017）提出的自适应softmax技术，以实现可变容量的输入表示。在如何分解输入层和输出层以及是否对单词、字符或子词单元进行建模方面，有多种选择。我们对自注意力架构中流行的几种选择进行了系统性的比较。实验结果表明，配备自适应嵌入的模型比流行的字符输入卷积神经网络（CNN）训练速度快一倍以上，并且参数数量更少。在WikiText-103基准测试中，我们达到了18.7的困惑度，相比之前最佳的已发表结果提高了10.5的困惑度；在Billion Word基准测试中，我们达到了23.02的困惑度。