4 个月前

生成式提示调优用于关系分类

生成式提示调优用于关系分类

摘要

利用提示来探索预训练语言模型中包含的知识以完成下游任务已成为一个活跃的研究课题。当前的提示调优方法大多通过添加填空式短语并将所有标签映射为固定长度的表述,将下游任务转化为掩码语言建模问题,这已被证明对具有简单标签空间的任务有效。然而,当应用于具有复杂标签空间的关系分类时,传统的提示调优方法可能由于严格的提示限制而难以处理任意长度的标签表述。受预训练生成模型在文本填充任务中的启发,这些模型可以灵活预测缺失片段,我们提出了一种新的生成式提示调优方法,将关系分类重新定义为一个填充问题,从而摆脱了现有基于提示的方法的局限性,并充分利用实体和关系类型的丰富语义。此外,我们设计了实体引导解码和判别性关系评分机制,在推理过程中高效且有效地生成和对齐关系。大量实验表明,在完全监督设置和低资源设置下,我们的方法均表现出有效性。

代码仓库

hanjiale/genpt
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
relation-extraction-on-re-tacredGenPT (RoBERTa)
F1: 91.1
relation-extraction-on-tacredGenPT (T5)
F1: 75.3

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
生成式提示调优用于关系分类 | 论文 | HyperAI超神经