4 个月前

NSCaching:知识图谱嵌入中的简单高效负采样方法

NSCaching:知识图谱嵌入中的简单高效负采样方法

摘要

知识图谱(Knowledge Graph, KG)嵌入是数据挖掘研究中的一个基本问题,具有许多实际应用。其目标是将图中的实体和关系编码到低维向量空间中,以便用于后续算法。负采样是从训练数据中未观察到的三元组中抽取负样本的一个重要步骤。最近,生成对抗网络(Generative Adversarial Network, GAN)被引入到负采样中。通过采样得分较高的负三元组,这些方法避免了梯度消失的问题,从而获得了更好的性能。然而,使用GAN使得原始模型更加复杂且难以训练,必须采用强化学习进行训练。本文受观察启发,认为得分较高的负三元组虽然重要但较为罕见,因此提出直接使用缓存来跟踪这些负三元组。然而,如何从缓存中采样以及如何更新缓存是两个重要的问题。我们精心设计了解决方案,不仅高效而且在探索与利用之间取得了良好的平衡。这样,我们的方法可以视为先前基于GAN的方法的“精炼”版本,不会浪费训练时间在额外参数上以拟合所有负三元组的分布。广泛的实验表明,我们的方法在各种知识图谱嵌入模型中均能显著提升性能,并优于当前最先进的基于GAN的负采样方法。

代码仓库

AutoML-4Paradigm/ERAS
pytorch
GitHub 中提及
AutoML-4Paradigm/S2S
pytorch
GitHub 中提及
automl-research/nscaching
pytorch
GitHub 中提及
AutoML-Research/S2S
pytorch
GitHub 中提及
yzhangee/NSCaching
pytorch
GitHub 中提及
AutoML-4Paradigm/NSCaching
pytorch
GitHub 中提及

基准测试

基准方法指标
link-prediction-on-fb15kComplEx NSCaching
MRR: 0.7721
link-prediction-on-fb15k-1ComplEx NSCaching
Hits@10: 0.8682
MR: 82
MRR: 0.7721
link-prediction-on-fb15k-237ComplEx NSCaching
Hits@10: 0.4805
MR: 221
MRR: 0.3021
link-prediction-on-wn18ComplEx NSCaching
Hits@10: 0.9398
MR: 1072
MRR: 0.9355
link-prediction-on-wn18rrComplEx NSCaching
Hits@10: 0.5089
MR: 5365
MRR: 0.4463

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
NSCaching:知识图谱嵌入中的简单高效负采样方法 | 论文 | HyperAI超神经