3 个月前

RCT:用于半监督声音事件检测的随机一致性训练

RCT:用于半监督声音事件检测的随机一致性训练

摘要

声事件检测(Sound Event Detection, SED)作为声学环境分析的核心模块,长期面临数据不足的问题。半监督学习(Semi-Supervised Learning, SSL)的引入在不增加额外标注成本的前提下,显著缓解了这一难题。本文针对SSL中的若干核心模块展开研究,提出了一种随机一致性训练(Random Consistency Training, RCT)策略。首先,提出一种自一致性损失(self-consistency loss),与教师-学生模型框架相结合,以增强训练过程的稳定性;其次,设计了一种硬混合数据增强(hard mixup data augmentation)方法,以有效建模声音信号的叠加特性;第三,引入一种随机增强方案,可灵活组合多种不同类型的数据增强方式。实验结果表明,所提出的RCT策略在性能上优于多种广泛使用的现有方法。

代码仓库

audio-westlakeu/rct
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
sound-event-detection-on-desedRCT
PSDS1: 0.4395
PSDS2: 0.6711
event-based F1 score: 49.62

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
RCT:用于半监督声音事件检测的随机一致性训练 | 论文 | HyperAI超神经