摘要

当前，预训练语言模型在问答生成（Question Generation, QG）任务中取得了显著成功，显著优于传统的序列到序列（sequence-to-sequence）方法。然而，现有的预训练模型通常将输入段落视为一个扁平的序列，因而无法感知输入段落的文本结构信息。针对QG任务，本文将文本结构建模为答案位置与句法依存关系，并提出了“答案局部性建模”（answer localness modeling）与“句法掩码注意力”（syntactic mask attention）机制，以克服上述局限性。具体而言，我们引入带有高斯偏置的局部性建模方法，使模型能够聚焦于答案周围的上下文信息；同时提出一种掩码注意力机制，使输入段落的句法结构在问题生成过程中得以有效利用。在SQuAD数据集上的实验结果表明，所提出的两个模块均能显著提升强基线模型ProphetNet的性能，二者联合使用后，其效果可与当前最先进的预训练模型相媲美，展现出优异的竞争力。