4 个月前

知觉提示:具有知识感知的协同优化提示调优用于关系抽取

知觉提示:具有知识感知的协同优化提示调优用于关系抽取

摘要

近日,提示调优(prompt-tuning)在特定的少样本分类任务中取得了令人鼓舞的结果。提示调优的核心思想是在输入中插入文本片段(即模板),将分类任务转化为带掩码的语言模型问题。然而,对于关系抽取任务而言,确定合适的提示模板需要领域专业知识,而获取适合的标签词则既繁琐又耗时。此外,关系标签之间存在丰富的语义和先验知识,这些知识不容忽视。为此,我们专注于将关系标签之间的知识融入提示调优以进行关系抽取,并提出了一种带有协同优化的知识感知提示调优方法(Knowledge-aware Prompt-tuning with Synergistic Optimization, KnowPrompt)。具体来说,我们将关系标签中包含的潜在知识通过可学习的虚拟类型词和答案词注入到提示构建过程中。随后,我们利用结构化约束对它们的表示进行协同优化。我们在五个数据集上进行了广泛的实验,包括标准设置和低资源设置,结果证明了我们方法的有效性。我们的代码和数据集可在 https://github.com/zjunlp/KnowPrompt 获取,以确保研究的可重复性。

代码仓库

zjunlp/KnowPrompt
官方
jax
GitHub 中提及

基准测试

基准方法指标
dialog-relation-extraction-on-dialogreKnowPrompt
F1 (v1): 66.0
relation-extraction-on-semeval-2010-task-8KnowPrompt
F1: 90.3

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
知觉提示:具有知识感知的协同优化提示调优用于关系抽取 | 论文 | HyperAI超神经