摘要

最新的语言表示研究工作精心地将上下文特征融入语言模型训练中，这在各种机器阅读理解和自然语言推理任务中取得了一系列成功。然而，现有的语言表示模型，包括ELMo、GPT和BERT，主要利用了简单的上下文敏感特征，如字符或词嵌入。它们很少考虑将结构化的语义信息纳入其中，而这些信息可以为语言表示提供丰富的语义。为了促进自然语言理解，我们提出将预训练的语义角色标注中的显式上下文语义整合进来，并引入了一种改进的语言表示模型——语义感知BERT（Semantics-aware BERT, SemBERT），该模型能够在BERT的基础上显式地吸收上下文语义。SemBERT在其前驱BERT的基础上保持了便捷的可用性，并通过轻量级微调的方式避免了大量的任务特定修改。与BERT相比，语义感知BERT在概念上同样简单但功能更强大。它在十个阅读理解和语言推理任务上取得了新的最先进水平或显著提升了结果。