3 个月前

双线性打分函数搜索用于知识图谱学习

双线性打分函数搜索用于知识图谱学习

摘要

知识图谱(Knowledge Graph, KG)中实体与关系的嵌入学习已显著促进了诸多下游任务的发展。近年来,评分函数作为知识图谱学习的核心,通常由人工设计,用于衡量三元组的合理性并捕捉知识图谱中不同类型的关系。然而,由于关系模式往往复杂且难以在训练前准确推断,现有各类评分函数在基准任务上并无一种始终表现最优。受自动化机器学习(AutoML)近期成功的启发,本文通过AutoML技术搜索适用于不同KG任务的双线性评分函数。然而,如何有效探索领域特定信息在此类任务中颇具挑战性。为此,我们首先通过分析现有评分函数构建了AutoBLM的搜索空间;随后提出一种渐进式算法(AutoBLM)与一种进化算法(AutoBLM+),并通过引入过滤器与预测器进一步加速搜索过程,以有效应对知识图谱学习中的领域特异性属性。最后,我们在知识图谱补全、多跳查询及实体分类等基准任务上开展了大量实验。实验结果表明,所搜索得到的评分函数具有知识图谱依赖性,且在文献中属新提出结构,其性能显著优于现有评分函数。此外,在相同计算预算下,AutoBLM+优于AutoBLM,因其进化机制能够更灵活地探索更优的模型结构。

代码仓库

AutoML-Research/AutoSF
官方
pytorch
GitHub 中提及
AutoML-4Paradigm/AutoSF
pytorch
GitHub 中提及

基准测试

基准方法指标
link-property-prediction-on-ogbl-biokgAutoBLM-KGBench
Ext. data: No
Number of params: 192047104
Test MRR: 0.8536 ± 0.0003
Validation MRR: 0.8548 ± 0.0002

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
双线性打分函数搜索用于知识图谱学习 | 论文 | HyperAI超神经