4 个月前

基于深度学习的IEMOCAP数据集多模态情感识别

基于深度学习的IEMOCAP数据集多模态情感识别

摘要

情感识别已成为人机交互研究中的一个重要领域,随着我们对行为各方面建模技术的不断改进,这一领域的研究日益受到重视。随着技术的进步,我们对情感的理解也在不断深化,因此自动情感识别系统的需求日益增长。目前的研究方向之一是利用神经网络(Neural Networks),这种网络擅长估计依赖于大量且多样输入数据的复杂函数。在本文中,我们试图利用神经网络的有效性,在IEMOCAP数据集上实现多模态情感识别,该数据集包含来自语音、文本以及面部表情、头部旋转和手部动作的运动捕捉数据。以往的研究主要集中在IEMOCAP数据集上的语音情感检测,而我们的方法则是首次综合利用IEMOCAP提供的多种模态数据,以实现更加稳健和准确的情感检测。

基准测试

基准方法指标
multimodal-emotion-recognition-on-expressiveSMPLify-X
v2v error: 52.9

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于深度学习的IEMOCAP数据集多模态情感识别 | 论文 | HyperAI超神经