4 个月前

超越这个!无需DBN后处理的精确节拍跟踪

超越这个!无需DBN后处理的精确节拍跟踪

摘要

我们提出了一种用于跟踪节拍和强拍的系统,旨在实现两个目标:广泛的音乐适用性和高精度。为了实现广泛适用性,我们在多个数据集上进行训练,这些数据集包括独奏乐器录音、包含时间签名变化的作品以及具有高节奏变化的古典音乐,并且去除了常用的动态贝叶斯网络(DBN)后处理步骤,该步骤会引入对拍子和节奏的限制。为了提高精度,我们开发了一种对注释小时间偏移具有容忍性的损失函数,并设计了一种在频率或时间维度上交替使用卷积层和变压器层的架构。尽管没有使用DBN,我们的系统在F1分数上仍超过了当前最先进的水平。然而,该系统仍然可能失败,尤其是在处理困难和代表性不足的音乐类型时,在连续性指标上的表现也较差。因此,我们发布了我们的模型、代码和预处理后的数据集,并邀请其他研究者超越这一成果。

代码仓库

CPJKU/beat_this
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
beat-tracking-on-asap-aligned-scores-andBeat This!
F1: 76.3
beat-tracking-on-ballroomBeat This!
F1: 97.5
beat-tracking-on-beatlesBeat This!
F1: 94.5
beat-tracking-on-candombeBeat This!
F1: 99.7
beat-tracking-on-filosaxBeat This!
F1: 99.5
beat-tracking-on-grooveBeat This!
F1: 93.7
beat-tracking-on-gtzanBeat This!
F1: 89.1
beat-tracking-on-guitarsetBeat This!
F1: 92.0
beat-tracking-on-hainsworthBeat This!
F1: 91.9
beat-tracking-on-harmonixBeat This!
F1: 95.8
beat-tracking-on-hjdbBeat This!
F1: 98.2
beat-tracking-on-jaahBeat This!
F1: 95.1
beat-tracking-on-simacBeat This!
F1: 77.9
beat-tracking-on-smcBeat This!
F1: 62.7
beat-tracking-on-tapcorrectBeat This!
F1: 93.0
downbeat-tracking-on-asap-aligned-scores-andBeat This!
F1: 61.2
downbeat-tracking-on-ballroomBeat This!
F1: 95.3
downbeat-tracking-on-beatlesBeat This!
F1: 88.8
downbeat-tracking-on-candombeBeat This!
F1: 99.7
downbeat-tracking-on-filosaxBeat This!
F1: 98.5
downbeat-tracking-on-grooveBeat This!
F1: 82.1
downbeat-tracking-on-gtzanBeat This!
F1: 78.3
downbeat-tracking-on-guitarsetBeat This!
F1: 88.1
downbeat-tracking-on-hainsworthBeat This!
F1: 80.0
downbeat-tracking-on-harmonixBeat This!
F1: 90.7
downbeat-tracking-on-hjdbBeat This!
F1: 96.6
downbeat-tracking-on-jaahBeat This!
F1: 85.0
downbeat-tracking-on-tapcorrectBeat This!
F1: 86.4

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
超越这个!无需DBN后处理的精确节拍跟踪 | 论文 | HyperAI超神经