摘要

循环神经网络在诸如语言模型等任务中预测词序列方面取得了显著成功。然而，所有这些模型都基于传统的分类框架，其中模型针对独热编码目标进行训练，每个词作为输入和输出时都是孤立表示的。这导致了学习效率低下，不仅在利用所有信息方面存在不足，而且在训练所需参数数量上也存在问题。我们提出了一种新的理论框架，以促进语言模型中的更好学习，并展示了该框架能够将输入嵌入矩阵和输出投影矩阵绑定在一起，大幅减少了可训练变量的数量。我们的框架在多种网络模型上均达到了Penn Treebank数据集上的最先进性能。