摘要

依存句法分析是自然语言处理中一项重要的基础任务，其目标是通过揭示词语之间的句法关系，分析输入句子的语法结构。为提升依存句法分析性能，已有研究表明，利用现有的依存句法分析器及额外数据（例如通过半监督学习）是有效的，即使最终模型是在存在误差但规模庞大的数据上进行训练的。本文提出了一种“令人惊讶地简单”的方法，用于改进基于图的依存句法分析：首先，使用自动解析得到的数据对一个结构感知编码器进行预训练，目标是预测词语间的依存关系；随后，该编码器在标准人工标注的依存树上进行微调。这一预训练策略与传统方法不同，传统方法通常旨在预测依存路径上的上下文词语。实验结果与深入分析表明，该方法能够有效且稳健地利用由不同解析器生成的、即使含有噪声的数据，无论在何种依赖标准或预训练与微调阶段所采用的模型架构下，其性能均优于多个强基线模型。更重要的是，进一步分析发现，仅需2000条自动解析语句即可在不引入额外参数的前提下，显著提升基于原始BERT-large的依存句法分析器的性能。