摘要

在语言与视觉领域，基础模型得益于可迁移的表示（如语言中的词元词汇表），能够对任意文本和视觉输入执行推理。然而，知识图谱（Knowledge Graphs, KGs）具有各自独立的实体与关系词汇表，通常彼此之间并无重叠。因此，设计适用于知识图谱的基础模型所面临的核心挑战在于：学习出能够支持在任意图结构、任意实体与关系词汇表上进行推理的可迁移表示。在本研究中，我们朝着这一目标迈出关键一步，提出ULTRA——一种用于学习通用且可迁移图表示的方法。ULTRA通过将关系表示建模为依赖于其交互作用的函数，实现对图结构的动态建模。这种条件化建模策略使得预训练的ULTRA模型能够对任意未见过的知识图谱实现零样本归纳推理，无论其关系词汇表如何，并且可在任意图数据上进行微调。我们在57个不同知识图谱上开展链接预测实验，结果表明，单一预训练的ULTRA模型在未见图谱（涵盖不同规模）上的零样本归纳推理性能，通常与在特定图谱上训练的强基准方法相当，甚至更优。进一步的微调操作可显著提升模型性能。