摘要

我们提出了一种递归非自回归图到图变换器架构（Recursive Non-autoregressive Graph-to-Graph Transformer，简称 RNGTr），通过递归应用非自回归图到图变换器，实现对任意图结构的迭代优化，并将其应用于句法依存句法分析任务。我们在多个依存句法语料库上验证了 RNGTr 的强大性能与有效性，所采用的优化模型基于 BERT 进行预训练。此外，我们还引入了句法变换器（Syntactic Transformer，简称 SynTr），这是一种与我们的优化模型结构相似但不采用递归机制的非递归解析器。实验结果表明，RNGTr 能够在 Universal Dependencies Treebanks 中涵盖的 13 种语言、英语和中文 Penn Treebank 语料库以及德语 CoNLL2009 语料库上，显著提升多种初始解析器的准确率，甚至超越了 SynTr 所达到的最新技术水平，大幅刷新了所有测试语料库上的当前最优性能记录。