摘要

利用大型预训练Transformer编码器网络的声音事件检测（SED）方法在最近的DCASE挑战中表现出色。然而，这些方法仍然依赖于基于RNN的上下文网络来建模时间依赖关系，这主要是由于标注数据的稀缺性。在这项工作中，我们提出了一种纯Transformer架构的SED模型，该模型通过掩码重构任务进行预训练，称为MAT-SED。具体而言，首先设计了一个具有相对位置编码的Transformer作为上下文网络，并以自监督的方式在所有可用的目标数据上通过掩码重构任务进行预训练。编码器和上下文网络随后以半监督的方式联合微调。此外，还提出了一种全局-局部特征融合策略，以增强定位能力。MAT-SED在DCASE2023任务4上的评估结果超过了现有最佳性能，分别达到了0.587和0.896的PSDS1/PSDS2指标。