4 个月前

TUNet:基于Transformer和自监督预训练的块在线带宽扩展模型

TUNet:基于Transformer和自监督预训练的块在线带宽扩展模型

摘要

我们介绍了一种块在线变体的时域特征线性调制(TFiLM)模型,以实现带宽扩展。所提出的架构简化了TFiLM中的UNet主干网络,以减少推理时间,并在瓶颈处采用高效的变压器来缓解性能下降。此外,我们还利用自监督预训练和数据增强技术来提高带宽扩展信号的质量并降低对下采样方法的敏感性。实验结果表明,在VCTK数据集上,该方法在侵入性和非侵入性指标方面均优于几种近期的基线方法。预训练和滤波器增强也有助于稳定和提升整体性能。

代码仓库

nxtproduct/tunet
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
audio-super-resolution-on-vctk-multi-speaker-1TUNet + MSM pre-training
Log-Spectral Distance: 1.28
audio-super-resolution-on-vctk-multi-speaker-1TUNet
Log-Spectral Distance: 1.36

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
TUNet:基于Transformer和自监督预训练的块在线带宽扩展模型 | 论文 | HyperAI超神经