3 个月前

PromptRank:基于提示的无监督关键词抽取方法

PromptRank:基于提示的无监督关键词抽取方法

摘要

关键词提取任务是指从给定文档中自动选取能够概括其核心内容的短语。近年来,基于嵌入(embedding)的算法在该任务上取得了当前最优(SOTA)性能,这些方法通过计算候选短语嵌入与文档嵌入之间的相似度来对候选短语进行排序。然而,现有方法在处理文档与候选短语长度差异方面仍存在困难,或未能在不进行微调的情况下充分挖掘预训练语言模型(PLM)的潜力。针对上述问题,本文提出了一种简单而有效的无监督方法——PromptRank,该方法基于具有编码器-解码器架构的预训练语言模型。具体而言,PromptRank将文档输入编码器,并设计特定提示(prompt),由解码器计算生成候选短语的概率。我们在六个广泛使用的基准数据集上对所提出的PromptRank进行了全面评估。实验结果表明,PromptRank在5、10和15个返回结果的情况下,相较于当前最优方法MDERank,F1分数分别提升了34.18%、24.87%和17.57%,充分展示了利用提示(prompt)进行无监督关键词提取的巨大潜力。相关代码已开源,地址为:https://github.com/HLT-NLP/PromptRank。

代码仓库

nku-hlt/promptrank
pytorch
GitHub 中提及
hlt-nlp/promptrank
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
keyphrase-extraction-on-inspecPromptRank
F1@10: 37.88
keyphrase-extraction-on-krapivinPromptRank
F1@10: 16.71
keyphrase-extraction-on-nusPromptRank
F1@10: 20.13

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
PromptRank:基于提示的无监督关键词抽取方法 | 论文 | HyperAI超神经