3 个月前

用于持续学习一系列方面情感分类任务的BERT自适应方法

用于持续学习一系列方面情感分类任务的BERT自适应方法

摘要

本文研究了多个方面情感分类(Aspect Sentiment Classification, ASC)任务序列的持续学习(Continual Learning, CL)问题。尽管已有部分持续学习技术被提出用于文档级情感分类,但目前尚无针对ASC任务的持续学习研究。一个能够逐步学习ASC任务序列的持续学习系统,需解决以下两个关键问题:(1)将先前任务中所学知识有效迁移至新任务,以帮助其构建更优的模型;(2)保持对以往任务模型的性能,防止灾难性遗忘。为此,本文提出一种基于胶囊网络的新型模型——B-CL,通过前向与后向知识迁移机制,显著提升了新任务及旧任务上的ASC性能。大量实验验证了B-CL方法的有效性。

代码仓库

基准测试

基准方法指标
continual-learning-on-20newsgroup-10-tasksB-CL
F1 - macro: 0.9504
continual-learning-on-asc-19-tasksB-CL
F1 - macro: 0.8140
continual-learning-on-dsc-10-tasksB-CL
F1 - macro: 0.7651

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
用于持续学习一系列方面情感分类任务的BERT自适应方法 | 论文 | HyperAI超神经