摘要

我们提出了一种新的语言模型（LM）估计技术，称为稀疏非负矩阵（SNM）估计。初步实验在十亿词基准上对这种技术进行了实证评估，结果显示，SNM $n$-gram 语言模型的表现几乎与广为人知的 Kneser-Ney（KN）模型相当。当使用跳字特征时，这些模型能够达到当前最先进的循环神经网络（RNN）语言模型的水平；将这两种建模技术结合使用，则能够在该基准上取得迄今为止最好的结果。与最大熵和 RNN 语言模型估计相比，SNM 的计算优势可能是其主要优点，这一方法不仅具有有效结合任意特征的相同灵活性，而且应该像 $n$-gram 语言模型一样优雅地扩展到非常大的数据量。