摘要

在深度学习（DL）时代，得益于多层双向LSTM（BiLSTM）在上下文表示方面的卓越能力，依存句法分析模型得以极大简化，且对性能影响甚微。作为目前最流行的基于图的依存句法分析器，双仿射（biaffine）分析器在弧因子化假设下直接对单个依存关系进行打分，并采用极为简单的局部词元级交叉熵损失函数进行训练，因而具有高效且性能优异的特点。本文首次将二阶TreeCRF（树条件随机场）扩展应用于双仿射分析器。长期以来，TreeCRF的内部-外部算法（inside-outside algorithm）复杂度高、效率低，严重限制了其广泛应用。为解决这一问题，本文提出一种高效的批处理方法，可将内部算法与Viterbi算法统一为GPU上的大规模矩阵运算，并通过高效的反向传播机制避免了复杂外部算法的计算开销。在来自13种语言的27个数据集上的实验与分析表明，尽管处于深度学习时代，传统方法如结构化学习（全局TreeCRF损失）与高阶建模技术依然具有显著价值，能够进一步提升当前最先进双仿射分析器的性能，尤其在训练数据部分标注（partially annotated）的情况下表现更为突出。相关代码已开源，地址为：https://github.com/yzhangcs/crfpar。