3 个月前

基于上下文相关的域对抗神经网络的多模态情感识别

基于上下文相关的域对抗神经网络的多模态情感识别

摘要

情感识别由于说话人个体差异以及训练样本稀缺等问题,仍是一项复杂任务。为应对这些挑战,本文聚焦于域对抗神经网络(Domain Adversarial Neural Networks, DANN)在情感识别中的应用。主要任务是预测情感标签,次要任务则是学习一种共享表征,使得说话人身份无法被区分。通过该方法,可使不同说话人的特征表示更加接近。同时,在训练过程中利用未标注数据,有效缓解了低资源训练样本带来的不利影响。值得注意的是,已有研究发现,上下文信息与多模态特征对情感识别具有重要意义。然而,以往基于DANN的方法往往忽视了这些信息,从而限制了其性能表现。为此,本文提出一种面向多模态情感识别的上下文相关域对抗神经网络(Context-Dependent Domain Adversarial Neural Network)。为验证所提方法的有效性,我们在基准数据集IEMOCAP上进行了实验。实验结果表明,该方法相较当前最先进的技术,取得了3.48%的绝对性能提升。

基准测试

基准方法指标
multimodal-emotion-recognition-on-iemocap-4DANN
Accuracy: 82.7

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于上下文相关的域对抗神经网络的多模态情感识别 | 论文 | HyperAI超神经