摘要

Transformer 在自然语言处理、计算机视觉以及图挖掘等多个广泛领域取得了显著成果。然而，传统的 Transformer 架构在知识图谱（Knowledge Graph, KG）表示学习方面并未带来预期的性能提升，这主要是因为该领域长期以平移距离（translational distance）范式为主导。值得注意的是，标准的 Transformer 架构难以有效捕捉知识图谱固有的异构结构与语义信息。为此，我们提出一种面向知识图谱表示的新颖 Transformer 变体，命名为 Relphormer。具体而言，我们引入了 Triple2Seq 模块，能够动态采样上下文感知的子图序列作为输入，以缓解知识图谱中固有的异构性问题。同时，我们设计了一种新型的结构增强型自注意力机制，用于编码关系信息，并在实体与关系之间有效保留语义特征。此外，我们采用掩码知识建模（masked knowledge modeling）策略，实现通用的知识图谱表示学习，该方法可广泛应用于知识图谱补全、问答系统以及推荐系统等多种任务。在六个公开数据集上的实验结果表明，Relphormer 在性能上显著优于现有基线方法。代码已开源，详见：https://github.com/zjunlp/Relphormer。