3 个月前

MLMLM:基于均似然掩码语言模型的链接预测

MLMLM:基于均似然掩码语言模型的链接预测

摘要

知识库(Knowledge Bases, KBs)具有查询便捷、可验证性和可解释性等优势,但其扩展性受限于人工投入和高质量数据的获取。相比之下,掩码语言模型(Masked Language Models, MLMs),如BERT,能够通过计算资源和非结构化原始文本数据实现高效扩展,然而模型所蕴含的知识却难以直接解释。为此,我们提出利用 MLM 进行链接预测,以同时解决知识库的可扩展性问题以及 MLM 模型的可解释性难题。为此,我们引入了 MLMLM(Mean Likelihood Masked Language Model)方法,该方法通过比较生成不同实体的平均似然概率,以一种高效且可计算的方式实现链接预测。在 WN18RR 数据集上,我们的方法取得了当前最优(State of the Art, SotA)性能;在 FB15k-237 数据集上,亦获得了非基于实体嵌入(non-entity-embedding-based)方法中的最佳结果。此外,MLMLM 在面对未见实体的链接预测任务中也表现出令人信服的性能,表明该方法能够有效支持新实体的引入,因而是一种适用于向知识库中动态添加新实体的可行方案。

基准测试

基准方法指标
link-prediction-on-fb15k-237MLMLM
Hits@1: 0.1871
Hits@10: 0.4026
Hits@3: 0.2820
MR: 411
MRR: 0.2591
link-prediction-on-wn18rrMLMLM
Hits@1: 0.4391
Hits@10: 0.611
Hits@3: 0.5418
MR: 1603
MRR: 0.5017

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
MLMLM:基于均似然掩码语言模型的链接预测 | 论文 | HyperAI超神经