4 个月前

DiaASQ:对话方面情感四元分析基准

DiaASQ:对话方面情感四元分析基准

摘要

近年来,基于方面的 sentiment 分析(ABSA)的快速发展显示出其在现实社会中的巨大潜力。然而,目前的 ABSA 研究大多局限于单篇文本的情景,对话背景下的研究尚未得到充分探索。为了弥合细粒度 sentiment 分析与对话意见挖掘之间的差距,本研究引入了一项新的任务——对话基于方面的 sentiment 四元组分析(DiaASQ),旨在检测对话中目标-方面-意见-sentiment 的四元组。我们手动构建了一个大规模、高质量的 DiaASQ 数据集,涵盖中文和英文两种语言。我们特意开发了一个神经模型来为该任务设立基准,该模型在端到端四元组预测方面表现出色,并成功地融入了丰富的对话特定特征和篇章特征表示,以更好地进行跨话语四元组提取。我们希望这一新的基准能够激发 sentiment 分析领域的更多进展。

代码仓库

unikcc/diaasq
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
conversational-sentiment-quadruple-extractionE2E-DiaASQ
Pair F1 (aspect-opinion): 44.27
Pair F1 (target-aspect): 47.91
Pair F1 (target-opinion): 45.58
Quad F1 (identification): 36.80
Quad F1 (micro): 33.31
Span F1 (aspect): 74.71
Span F1 (opinion): 60.22
Span F1 (target): 88.62
conversational-sentiment-quadruple-extraction-1E2E-DiaASQ
Pair F1 (aspect-opinion): 45.44
Pair F1 (target-aspect): 48.61
Pair F1 (target-opinion): 43.31
Quad F1 (identification): 37.51
Quad F1 (micro): 34.94
Span F1 (aspect): 76.94
Span F1 (opinion): 59.35
Span F1 (target): 90.23

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
DiaASQ:对话方面情感四元分析基准 | 论文 | HyperAI超神经