摘要

近年来，得益于深度学习技术的快速发展，语音情感识别（Speech Emotion Recognition, SER）取得了显著进展。然而，标注数据的稀缺仍是该领域面临的主要挑战之一。自监督学习近年来成为应对这一挑战的有前景解决方案。本文提出了一种面向语音的向量量化掩码自编码器（Vector Quantized Masked Autoencoder for Speech, VQ-MAE-S），该模型基于自监督预训练，并通过微调实现语音情感识别。VQ-MAE-S模型以向量量化变分自编码器（Vector-Quantized Variational Autoencoder）的离散潜在空间为基础，构建于掩码自编码器（Masked Autoencoder, MAE）架构之上。实验结果表明，该模型在VoxCeleb2数据集上进行预训练，并在情感语音数据上进行微调后，其性能优于基于原始频谱图表示的MAE模型以及其他当前最先进的方法，在语音情感识别任务中展现出更强的识别能力。