摘要

声音事件检测（SED）在嘈杂环境中具有挑战性，因为重叠的声音会掩盖目标事件。语言查询音频源分离（LASS）旨在从嘈杂的音频片段中分离出目标声音事件。然而，当确切的目标声音未知时，特别是在嘈杂的测试集中，这种方法可能会失败，导致性能下降。为了解决这一问题，我们利用大型语言模型（LLMs）的能力来分析和总结声学数据。通过使用LLMs识别并选择特定的噪声类型，我们实现了一种用于噪声鲁棒性微调的噪声增强方法。微调后的模型被应用于生成针对LASS模型的片段级事件预测作为文本查询。我们的研究表明，所提出的方法提高了在嘈杂环境中的SED性能。这项工作代表了LLMs在噪声鲁棒性SED中的早期应用，并指出了处理SED中重叠事件的一个有前景的方向。代码和预训练模型可在以下网址获取：https://github.com/apple-yinhan/Noise-robust-SED。