摘要

典型的端到端实体链接系统通常包含三个步骤：提及检测（mention detection）、候选实体生成（candidate generation）和实体消歧（entity disambiguation）。在本研究中，我们探讨了以下三个问题：(a) 是否可以利用上下文感知的文本表示模型（如BERT，Devlin等，2019）联合学习所有这些步骤？(b) 预训练的BERT中已经蕴含了多少实体知识？(c) 额外引入实体知识是否能够提升BERT在下游任务中的表现？为此，我们提出了一种对实体链接任务设置的极端简化方案，该方案出人意料地表现优异：将实体链接问题直接建模为在整个实体词汇表上的逐标记分类任务（在我们的实验中，实体类别超过70万）。在实体链接基准测试中，我们证明了：(i) 该模型能够显著提升BERT的实体表示能力；(ii) 其性能优于那些分别优化各子任务的传统实体链接架构；(iii) 仅略逊于当前最先进的联合进行提及检测与实体消歧的方法。此外，我们进一步评估了引入实体感知的词元表示在多个文本理解与问答任务中的有效性，包括GLUE基准、SQUAD V2问答任务、SWAG常识推理任务，以及EN-DE WMT14机器翻译基准。令人意外的是，大多数任务并未从额外的实体知识中获益，仅在训练数据极小的任务——GLUE基准中的RTE（蕴含识别）任务中，性能提升了2%。