我们提出了一种能够进行无监督句法结构诱导的神经语言模型。该模型利用结构信息形成更好的语义表示和更优的语言模型。传统的循环神经网络由于其结构限制，无法高效地利用句法信息。另一方面，树形递归网络通常需要额外的结构监督，这需要人工专家标注的成本。在本文中，我们提出了一种新颖的神经语言模型，称为解析-阅读-预测网络（Parsing-Reading-Predict Networks, PRPN），该模型可以同时从未标注的句子中诱导出句法结构，并利用推断出的结构学习更优的语言模型。在我们的模型中，梯度可以直接从语言模型损失反向传播到神经解析网络中。实验结果表明，所提出的模型能够发现潜在的句法结构，并在词/字符级别的语言模型任务上达到最先进的性能。