摘要

Sparsespeech 模型是一种无监督的声学模型，能够为未转录的语音生成离散的伪标签。本文将 Sparsespeech 模型进行扩展，使其能够对随机离散变量进行采样，从而生成伪后验图（pseudo-posteriorgrams）。该后验图的稀疏程度可在模型训练完成后完全控制。我们采用 Gumbel-Softmax 技巧，在神经网络中近似实现从离散分布中的采样，从而能够使用标准反向传播高效训练网络。所提出的改进模型在 Libri-Light 数据集上进行训练与评估，该数据集是语音识别（ASR）领域在有限或无监督条件下的基准测试集。模型在 600 小时和 6000 小时的英语朗读语音数据上进行训练。在评估中，我们采用 ABX 错误率指标，并在包含 10 小时标注语音的半监督设置下进行测试。实验结果表明，在 600 小时语音数据上，改进后的 Sparsespeech 模型在测试集上对不同说话人实现了最高达 31.4% 的 ABX 错误率相对降低；当模型规模扩展至 6000 小时数据时，性能进一步提升。