摘要

大多数无监督依存句法分析器基于一阶概率生成模型，这些模型仅考虑局部的父子节点信息。受二阶有监督依存句法分析的启发，我们提出了一种无监督神经依存模型的二阶扩展，该扩展结合了祖孙节点或兄弟节点的信息。我们还提出了一种新的神经参数化和优化方法设计。在二阶模型中，随着词汇量的增加，语法规则的数量呈立方增长，这使得包含数千个单词的词汇化模型难以训练。为了解决这一问题，同时仍能从二阶解析和词汇化中获益，我们采用了基于一致性的学习框架来联合训练一个二阶非词汇化模型和一个一阶词汇化模型。在多个数据集上的实验表明，我们的二阶模型相比最近的最先进方法具有更高的有效性。我们的联合模型在完整的WSJ测试集上比之前的最先进解析器提高了10%的效果。