
摘要
我们展示了端到端的深度学习方法可以用于识别英语或普通话——两种截然不同的语言。由于该方法用神经网络替换了整个由人工设计的组件管道,因此端到端学习使我们能够处理包括嘈杂环境、口音和不同语言在内的多种语音。我们方法的关键在于应用了高性能计算(HPC)技术,这使得我们的系统比之前的版本快了7倍。由于这种效率的提升,以前需要几周时间才能完成的实验现在几天内就能完成。这使我们能够更快地迭代,以确定更优的架构和算法。结果,在多个案例中,当在标准数据集上进行基准测试时,我们的系统与人类工作者的转录水平相当。最后,通过在数据中心使用一种称为批量调度(Batch Dispatch)的技术与GPU相结合,我们证明了该系统可以在在线环境中以较低的成本部署,并在大规模服务用户时提供低延迟。
代码仓库
mangelroman/audio2score
pytorch
GitHub 中提及
GavinGuan95/Punctuator.Pytorch
pytorch
GitHub 中提及
TensorSpeech/TensorFlowASR
tf
GitHub 中提及
robmsmt/KerasDeepSpeech
tf
GitHub 中提及
freshtan/deepspeech2
mindspore
GitHub 中提及
raraz15/DeepTurkish
pytorch
GitHub 中提及
PaddlePaddle/PaddleSpeech
官方
paddle
SeanNaren/deepspeech.torch
pytorch
GitHub 中提及
2023-MindSpore-1/ms-code-63
mindspore
GitHub 中提及
bjtommychen/Keras_DeepSpeech2_SpeechRecognition
tf
GitHub 中提及
baidu-research/warp-ctc
pytorch
GitHub 中提及
hkakitani/deepspeech.pytorch
pytorch
GitHub 中提及
PaddlePaddle/models
paddle
GitHub 中提及
SeanNaren/deepspeech.pytorch
pytorch
GitHub 中提及
MangoMoe/VerbalVim
pytorch
GitHub 中提及
sooftware/End-to-End-Speech-Recognition-Models
pytorch
GitHub 中提及
2023-MindSpore-1/ms-code-57
mindspore
GitHub 中提及
umd-fire-coml/2020-Speech-Recognition
tf
GitHub 中提及
sooftware/OpenSpeech
pytorch
GitHub 中提及
DeepMark/deepmark
pytorch
GitHub 中提及
cosmoquester/speech-recognition
tf
GitHub 中提及
https://gitlab.com/sburud/master
pytorch
GitHub 中提及
UnofficialJuliaMirror/DeepMark-deepmark
pytorch
GitHub 中提及
fd873630/deep_speech_2_korean
pytorch
GitHub 中提及
UnofficialJuliaMirrorSnapshots/DeepMark-deepmark
pytorch
GitHub 中提及
msalhab96/SpeeQ
pytorch
GitHub 中提及
switiz/deepspeech2.pytorch
pytorch
GitHub 中提及
myrtleSoftware/deepspeech
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| accented-speech-recognition-on-voxforge | Deep Speech 2 | Percentage error: 22.44 |
| accented-speech-recognition-on-voxforge-1 | Deep Speech 2 | Percentage error: 13.56 |
| accented-speech-recognition-on-voxforge-2 | Deep Speech 2 | Percentage error: 17.55 |
| accented-speech-recognition-on-voxforge-3 | Deep Speech 2 | Percentage error: 7.55 |
| noisy-speech-recognition-on-chime-clean | Deep Speech 2 | Percentage error: 3.34 |
| noisy-speech-recognition-on-chime-real | Deep Speech 2 | Percentage error: 21.79 |
| speech-recognition-on-librispeech-test-clean | Deep Speech 2 | Word Error Rate (WER): 5.33 |
| speech-recognition-on-librispeech-test-other | Deep Speech 2 | Word Error Rate (WER): 13.25 |
| speech-recognition-on-wsj-eval92 | Deep Speech 2 | Word Error Rate (WER): 3.60 |
| speech-recognition-on-wsj-eval93 | Deep Speech 2 | Word Error Rate (WER): 4.98 |