3 个月前

基于联合表示学习与数据增强的WideResNet用于Cover Song Identification

基于联合表示学习与数据增强的WideResNet用于Cover Song Identification

摘要

伴奏翻唱识别(Cover Song Identification, CSI)一直是音乐信息检索(Music Information Retrieval, MIR)领域中一项具有挑战性的课题。近年来,基于深度学习的方法在CSI问题上得到了广泛研究。本文提出了一种基于多任务学习启发的联合表示学习框架,用于解决CSI问题。具体而言,我们设计了一种联合学习策略,将分类任务与度量学习相结合,以优化基于WideResNet的翻唱识别模型,该模型称为LyraC-Net。其中,分类目标旨在学习不同类别间的可分离嵌入表示,而度量学习则通过减小类间距离、增强类内可分性来优化嵌入的相似性。这种联合优化策略有望获得比单一目标训练方法更具鲁棒性的翻唱表示能力。在度量学习部分,引入原型网络(prototypical network)以稳定并加速训练过程,同时结合三元组损失(triplet loss)进一步提升性能。此外,我们还采用了SpecAugment这一在语音识别领域广泛应用的数据增强方法,以进一步提升模型的泛化能力。实验结果表明,所提出的方法在多个评估指标上均取得了优异表现,显著优于当前其他先进的CSI方法。

基准测试

基准方法指标
cover-song-identification-on-shs100k-testLyraC-Net
mAP: 0.765

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于联合表示学习与数据增强的WideResNet用于Cover Song Identification | 论文 | HyperAI超神经