摘要

我们证明了用自注意力机制架构替换LSTM编码器可以提升最先进的判别性成分句法分析器的性能。注意力机制明确展示了句子中不同位置之间信息传播的方式，这不仅有助于我们分析模型，还为提出潜在改进提供了依据。例如，我们发现将位置信息和内容信息在编码器中分离可以提高句法分析的准确性。此外，我们评估了不同的词汇表示方法。我们的句法分析器在Penn树库上训练的单个模型中取得了新的最佳结果：在不使用任何外部数据的情况下，F1得分为93.55；而在使用预训练词向量时，F1得分为95.13。我们的句法分析器还在SPMRL数据集中的9种语言中的8种上超过了之前公布的最佳准确率。