
摘要
我们介绍了InstructABSA,这是一种面向方面的情感分析(ABSA)子任务的指令学习范式。我们的方法为每个训练样本引入了正面、负面和中性示例,并通过指令调优模型(Tk-Instruct)来处理ABSA子任务,从而显著提高了性能。在SemEval 2014、2015和2016数据集上的实验结果表明,InstructABSA在术语提取(ATE)、情感分类(ATSC)和情感对提取(ASPE)子任务上超越了之前的最先进(SOTA)方法。特别是在Rest14 ATE子任务上,InstructABSA比之前的最先进方法高出5.69个百分点;在Rest15 ATSC子任务上高出9.59个百分点;在Lapt14 AOPE子任务上高出3.37个百分点,超过了规模为其7倍的模型。我们在AOOE、AOPE和AOSTE子任务上也取得了具有竞争力的结果,这表明该方法对所有子任务具有强大的泛化能力。探索样本效率显示,仅需50%的训练数据即可与其他指令调优方法取得相当的结果。最后,我们评估了指令的质量,并观察到当加入误导性示例时,InstructABSA的性能下降约10%。
代码仓库
kevinscaria/instructabsa
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| aspect-based-sentiment-analysis-on-semeval | InstructABSA | Laptop (Acc): 80.56 Mean Acc (Restaurant + Laptop): 81.5 Restaurant (Acc): 82.44 |
| aspect-based-sentiment-analysis-on-semeval-5 | InstructABSA | F1: 79.34 |
| aspect-based-sentiment-analysis-on-semeval-6 | InstructABSA | F1: 79.34 |
| aspect-based-sentiment-analysis-on-semeval-7 | InstructABSA | Laptop (F1): 92.30 Restaurant (F1): 92.76 |
| aspect-extraction-on-semeval-2014-task-4-sub-1 | InstructABSA | Laptop (F1): 92.30 Mean F1 (Laptop + Restaurant): 92.53 Restaurant (F1): 92.76 |
| aspect-extraction-on-semeval-2014-task-4-sub-2 | InstructABSA | Laptop (F1): 92.30 |
| sentiment-analysis-on-semeval-2014-task-4 | InstructABSA | F1: 79.34 |