4 个月前

InstructABSA:面向方面的 sentiment 分析的指令学习

InstructABSA:面向方面的 sentiment 分析的指令学习

摘要

我们介绍了InstructABSA,这是一种面向方面的情感分析(ABSA)子任务的指令学习范式。我们的方法为每个训练样本引入了正面、负面和中性示例,并通过指令调优模型(Tk-Instruct)来处理ABSA子任务,从而显著提高了性能。在SemEval 2014、2015和2016数据集上的实验结果表明,InstructABSA在术语提取(ATE)、情感分类(ATSC)和情感对提取(ASPE)子任务上超越了之前的最先进(SOTA)方法。特别是在Rest14 ATE子任务上,InstructABSA比之前的最先进方法高出5.69个百分点;在Rest15 ATSC子任务上高出9.59个百分点;在Lapt14 AOPE子任务上高出3.37个百分点,超过了规模为其7倍的模型。我们在AOOE、AOPE和AOSTE子任务上也取得了具有竞争力的结果,这表明该方法对所有子任务具有强大的泛化能力。探索样本效率显示,仅需50%的训练数据即可与其他指令调优方法取得相当的结果。最后,我们评估了指令的质量,并观察到当加入误导性示例时,InstructABSA的性能下降约10%。

代码仓库

kevinscaria/instructabsa
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
aspect-based-sentiment-analysis-on-semevalInstructABSA
Laptop (Acc): 80.56
Mean Acc (Restaurant + Laptop): 81.5
Restaurant (Acc): 82.44
aspect-based-sentiment-analysis-on-semeval-5InstructABSA
F1: 79.34
aspect-based-sentiment-analysis-on-semeval-6InstructABSA
F1: 79.34
aspect-based-sentiment-analysis-on-semeval-7InstructABSA
Laptop (F1): 92.30
Restaurant (F1): 92.76
aspect-extraction-on-semeval-2014-task-4-sub-1InstructABSA
Laptop (F1): 92.30
Mean F1 (Laptop + Restaurant): 92.53
Restaurant (F1): 92.76
aspect-extraction-on-semeval-2014-task-4-sub-2InstructABSA
Laptop (F1): 92.30
sentiment-analysis-on-semeval-2014-task-4InstructABSA
F1: 79.34

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
InstructABSA:面向方面的 sentiment 分析的指令学习 | 论文 | HyperAI超神经