知识图谱能够大规模表示复杂关系，因此被广泛应用于知识表示、问答系统以及推荐系统等多种场景。然而，知识图谱在实际表示中往往存在信息不完整的问题，这促使了知识图谱补全任务的发展。尽管预训练并微调的语言模型在这些任务中展现出良好潜力，但这类模型通常忽略了知识图谱中固有的结构信息，例如实体类型和关系类型。为此，本文提出了一种新的知识图谱语言模型架构（Knowledge Graph Language Model, KGLM），其核心在于引入了一种新型的实体/关系嵌入层，该层能够学习区分不同类型的实体与关系，从而帮助模型更好地捕捉知识图谱的内在结构。实验结果表明，通过从知识图谱中提取的三元组对语言模型进行进一步预训练，并在此基础上执行标准的微调流程，KGLM在基准数据集上的链接预测任务中取得了新的最先进性能，显著提升了现有技术水平。