3 个月前

基于BERT的解耦注意力机制的方面级情感分析

基于BERT的解耦注意力机制的方面级情感分析

摘要

基于方面的情感分析(Aspect-Based Sentiment Analysis, ABSA)任务旨在识别消费者对产品或服务不同方面的情感观点。基于BERT的语言模型在需要深入理解语言的任务中表现出色,例如情感分析。本文研究了解耦学习(disentangled learning)在提升BERT-based文本表示能力方面于ABSA任务中的应用。受计算机视觉领域中解耦表示学习成功实践的启发——该方法旨在提取数据表示中的可解释性因子——我们探索了最新的DeBERTa模型(Decoding-enhanced BERT with Disentangled Attention),通过该模型从BERT架构中解耦语法特征与语义特征。实验结果表明,引入解耦注意力机制并结合一种简单的微调策略,在ABSA基准数据集上显著优于当前最先进的模型。

基准测试

基准方法指标
aspect-based-sentiment-analysis-on-semevalABSA-DeBERTa
Laptop (Acc): 82,76
Mean Acc (Restaurant + Laptop): 86,11
Restaurant (Acc): 89,46

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于BERT的解耦注意力机制的方面级情感分析 | 论文 | HyperAI超神经