摘要

在机器阅读理解中，有效建模详尽且冗长段落中的语言知识并消除噪声对于提高其性能至关重要。传统的注意力模型在没有显式约束的情况下关注所有词语，这导致对一些可省略词语的不准确聚焦。在这项工作中，我们提出利用句法来指导文本建模，通过在注意力机制中引入显式的句法约束，以获得更好的语言学动机的词表示。具体而言，对于基于Transformer编码器的自注意力网络（SAN），我们在SAN中引入了感兴趣的句法依存关系（Syntactic Dependency of Interest, SDOI）设计，形成了具有句法引导自注意力的SDOI-SAN。然后，通过双上下文架构将这个额外的SDOI-SAN与原始Transformer编码器中的SAN组合起来，构建了一个受语言学启发的表示更优的句法引导网络（Syntax-Guided Network, SG-Net）。为了验证其有效性，所提出的SG-Net被应用于基于Transformer编码器的典型预训练语言模型BERT。广泛的实验表明，在包括SQuAD 2.0和RACE在内的多个流行基准测试中，所提出的SG-Net设计相比强大的基线模型实现了显著的性能提升。