HyperAIHyperAI

Command Palette

Search for a command to run...

没有大兄弟也没有小兄弟:在语言模型中注入知识以实现链接预测与问答

Ankush Agarwal Sakharam Gawade Sachin Channabasavarajendra Pushpak Bhattacharyya

摘要

将知识图谱与深度学习相结合,在提升各类自然语言处理(NLP)任务性能方面正蓬勃发展。本文聚焦于利用语言模型T5与BLOOM在航空、电影和网络三个领域进行知识增强的链接预测与问答任务。在此背景下,我们分别在大型与小型语言模型中注入知识,并研究其性能表现,结果发现二者表现相近。在航空知识图谱的链接预测任务中,T5-small、T5-base、T5-large以及BLOOM均取得了0.2的hits@1得分。通过基于模板的脚本,我们从美国国家运输安全委员会(NTSB)报告中生成了100万条航空领域合成的事实型问答对。在我们精心筛选的问答数据集上,三种T5模型均达到0.7的hits@1得分。我们通过配对学生t检验和Cohen's kappa系数对研究结果进行了验证。在使用T5-small与T5-large进行航空知识图谱链接预测时,Cohen's kappa系数达到0.76,表明模型间具有高度一致性。因此,我们推断:在引入知识的前提下,小型语言模型的性能可与大型语言模型相媲美。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
没有大兄弟也没有小兄弟:在语言模型中注入知识以实现链接预测与问答 | 论文 | HyperAI超神经