3 个月前

基于音频频谱图Transformer的Patch-Mix对比学习在呼吸音分类中的应用

基于音频频谱图Transformer的Patch-Mix对比学习在呼吸音分类中的应用

摘要

呼吸音包含早期诊断致命肺部疾病的关键信息。自新冠疫情以来,基于电子听诊器的非接触式医疗保健日益受到关注。为此,前沿的深度学习模型已被开发用于肺部疾病诊断,但由于医疗数据的稀缺性,该任务仍面临挑战。本研究证明,基于大规模视觉与音频数据集预训练的模型可有效迁移到呼吸音分类任务中。此外,我们提出一种简单直观的Patch-Mix数据增强方法,该方法在不同样本间随机混合频谱图块,并与音频频谱变换器(Audio Spectrogram Transformer, AST)相结合。为进一步提升特征区分能力,我们还提出一种新颖且高效的Patch-Mix对比学习策略,用于在隐空间中区分混合后的表示。所提出的方法在ICBHI数据集上取得了当前最优的性能,相较于先前最佳结果提升了4.08%。

代码仓库

raymin0223/patch-mix_contrastive_learning
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
audio-classification-on-icbhi-respiratoryAST (Patch-Mix CL)
ICBHI Score: 62.37
Sensitivity: 43.07
Specificity: 81.66
audio-classification-on-icbhi-respiratoryAST (fine-tuning)
Sensitivity: 41.97
Specificity: 77.14
audio-classification-on-icbhi-respiratoryAST (fine-tuning)
ICBHI Score: 59.55

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于音频频谱图Transformer的Patch-Mix对比学习在呼吸音分类中的应用 | 论文 | HyperAI超神经