3 个月前

CoMPM:面向对话情感识别的说话人预训练记忆追踪上下文建模

CoMPM:面向对话情感识别的说话人预训练记忆追踪上下文建模

摘要

随着交互式机器应用的日益普及,对话中的情感识别(Emotion Recognition in Conversation, ERC)任务变得愈发重要。若机器生成的语句能够体现情感,便有望实现更具人性化的共情式对话。由于在识别对话情感时若不考虑先前话语,识别效果将大打折扣,因此许多研究致力于引入对话上下文以提升性能。近年来,诸多方法通过将外部结构化数据中提取的知识融入模型模块,取得了性能提升。然而,结构化数据在非英语语言中难以获取,导致这些方法难以拓展至其他语言。为此,我们采用预训练语言模型作为外部知识提取器,从中提取预训练记忆。本文提出CoMPM(Contextual Memory-Enhanced Pre-trained Memory),该模型将说话人预训练记忆与上下文模型相结合,实验表明,预训练记忆显著提升了上下文模型的性能。CoMPM在所有测试数据集上均取得了第一名或第二名的成绩,在不依赖结构化数据的系统中处于当前最先进水平。此外,本方法无需依赖结构化知识,因而具备良好的跨语言可扩展性,相较于以往方法更具普适性。相关代码已开源,可在GitHub上获取(https://github.com/rungjoo/CoMPM)。

代码仓库

rungjoo/compm
官方
pytorch

基准测试

基准方法指标
emotion-recognition-in-conversation-onCoMPM
Accuracy: 66.76
Weighted-F1: 66.61
emotion-recognition-in-conversation-on-3CoMPM
Macro F1: 53.15
Micro-F1: 60.34
emotion-recognition-in-conversation-on-4CoMPM
Weighted-F1: 37.37
emotion-recognition-in-conversation-on-meldCoMPM
Weighted-F1: 66.52

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
CoMPM:面向对话情感识别的说话人预训练记忆追踪上下文建模 | 论文 | HyperAI超神经