摘要

我们提出了一种利用动态评估来改进神经序列模型的方法。通过基于梯度下降的机制，模型能够适应最近的历史数据，从而为重复出现的序列模式分配更高的概率。在我们的对比实验中，动态评估的表现优于现有的适应方法。动态评估将Penn Treebank和WikiText-2数据集上的词级困惑度分别提升至51.1和44.3，并将text8和Hutter Prize数据集上的字符级交叉熵分别降低至1.19比特/字符和1.08比特/字符，达到了当前最佳水平。