摘要

在文本上预训练语言模型（LM）已被证明有助于各种下游自然语言处理（NLP）任务。近期的研究表明，知识图谱（KG）可以补充文本数据，提供结构化的背景知识，为推理提供有用的框架。然而，这些研究未能大规模预训练以实现两种模态的深度融合，限制了获取完全联合的文本和知识图谱表示的潜力。本文提出了一种名为DRAGON（深度双向语言-知识图谱预训练）的方法，这是一种自监督方法，旨在从文本和知识图谱中大规模预训练一个深度联合的语言-知识基础模型。具体而言，我们的模型以文本片段对及其相关的知识图谱子图作为输入，并双向融合来自这两种模态的信息。我们通过统一两个自监督推理任务——掩码语言建模和知识图谱链接预测来预训练该模型。DRAGON在包括一般领域和生物医学领域的问答在内的多种下游任务上超越了现有的语言模型和语言模型+知识图谱模型，平均绝对增益达到5%。特别是在涉及长上下文或多步推理的问题以及低资源问答任务（如OBQA和RiddleSense）上的复杂推理表现尤为突出，分别提高了10%和8%。此外，DRAGON还在各种BioNLP任务上取得了新的最佳结果。我们的代码和预训练模型可在https://github.com/michiyasunaga/dragon 获取。