4 个月前

CoRe-Sleep:一种适用于不完美模态的时间序列多模态融合框架

CoRe-Sleep:一种适用于不完美模态的时间序列多模态融合框架

摘要

睡眠异常可能会导致严重的健康后果。自动睡眠分期,即根据患者的生理记录对睡眠阶段进行标记,可以简化诊断过程。以往在自动睡眠分期方面的研究已经取得了显著成果,主要依赖于脑电图(EEG)信号。然而,除了EEG之外,通常还有多种信息来源可供利用。这在EEG记录嘈杂或完全缺失时尤为有利。本文提出了一种名为CoRe-Sleep的协调表示多模态融合网络,特别关注提高在不完美数据上的信号分析鲁棒性。我们展示了如何适当处理多模态信息是实现这种鲁棒性的关键。CoRe-Sleep能够容忍噪声或缺失的模态段,允许在不完整的数据上进行训练。此外,在使用单一模型对SHHS-1(目前最大的公开包含睡眠阶段标签的研究)中的多模态和单模态数据进行测试时,它表现出最先进的性能。结果表明,在多模态数据上训练模型确实能正面影响其在单模态数据上的表现。本研究旨在弥合自动化分析工具与其临床应用之间的差距。

基准测试

基准方法指标
sleep-stage-detection-on-shhsCoRe-Sleep (EEG-EOG)
Accuracy: 89.5%
Cohen's Kappa: 0.853
Macro-F1: 0.823

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
CoRe-Sleep:一种适用于不完美模态的时间序列多模态融合框架 | 论文 | HyperAI超神经