摘要

呼吸音分类（RSC）由于声学特征的多样性而具有挑战性，这些特征主要受患者人口统计学和录音环境的影响。为了解决这一问题，我们引入了一种文本-音频多模态模型，该模型利用了呼吸音的元数据，提供了对RSC有用的补充信息。具体而言，我们使用从声音样本元数据中提取的自由文本描述对预训练的文本-音频多模态模型进行了微调，这些描述包括患者的性别和年龄、录音设备类型以及录音在患者身体上的位置。我们的方法在ICBHI数据集上取得了最先进的性能，比之前的最佳结果提高了显著的1.17%。这一结果验证了利用元数据和呼吸音样本可以有效提升RSC性能。此外，我们还研究了在部分元数据不可用的情况下模型的表现，这种情况可能在实际临床环境中出现。