摘要

实体表示在涉及实体的自然语言处理任务中具有重要作用。本文提出了一种基于双向Transformer的新颖预训练上下文表示方法，用于词和实体的联合建模。该模型将文本中的词与实体均视为独立的标记（token），并输出它们的上下文相关表示。模型通过一种基于BERT的掩码语言建模思想设计的新预训练任务进行训练，该任务旨在预测从维基百科获取的大规模带实体标注语料库中随机掩码的词和实体。此外，我们提出了一种面向实体的自注意力机制（entity-aware self-attention），作为Transformer原始自注意力机制的扩展，该机制在计算注意力分数时会考虑标记的类型（即词或实体），从而增强模型对实体信息的感知能力。所提出的模型在多种与实体相关的任务上均取得了出色的实验性能。特别是在五个知名数据集上达到了当前最优（state-of-the-art）结果：Open Entity（实体类型识别）、TACRED（关系分类）、CoNLL-2003（命名实体识别）、ReCoRD（填空式问答）以及SQuAD 1.1（抽取式问答）。本文的源代码及预训练表示均已公开，获取地址为：https://github.com/studio-ousia/luke。