摘要

在本文中，我们探讨了用于声学单元发现的向量量化方法。通过利用未标记数据，我们的目标是学习语音的离散表示，以分离音素内容和说话者特定的细节。为此，我们提出了两种神经模型来应对这一挑战——这两种模型都使用向量量化将连续特征映射到有限的代码集。第一个模型是一种向量量化变分自编码器（VQ-VAE）。该模型将语音编码为一系列离散单元，然后重建音频波形。第二个模型结合了向量量化和对比预测编码（VQ-CPC）。其核心思想是通过预测未来的声学单元来学习语音表示。我们在零资源演讲2020（ZeroSpeech 2020）挑战赛中使用英语和印尼语数据对这些模型进行了评估。在ABX音素辨别测试中，两种模型均优于2019年和2020年所有参赛作品，相对改进超过30%。此外，这些模型在下游的语音转换任务中也表现出竞争力。在这两种模型中，VQ-CPC总体上表现略好，并且训练过程更为简单快捷。最后，探针实验表明，向量量化是一个有效的瓶颈机制，迫使模型丢弃说话者信息。