摘要

语音处理领域的进展得益于共享数据集与基准测试的推动。历史上，这些数据集和基准主要聚焦于自动语音识别（ASR）、说话人识别等底层任务。近年来，研究界对更高层次的口语理解任务（如端到端建模）的兴趣日益增长，但针对此类任务的标注数据集仍然相对匮乏。与此同时，近期研究表明，通过预训练通用表示模型，并在少量标注数据上进行微调，即可在多个任务上取得良好效果。为此，我们提出构建一套名为“口语理解评估”（Spoken Language Understanding Evaluation, SLUE）的基准任务体系，其包含规模有限的标注训练集及对应的评估集。该资源将使研究社区能够追踪技术进展，评估预训练表示在高层次任务中的适用性，并深入探讨诸如流水线式方法与端到端方法孰优孰劣等开放性问题。本文介绍了SLUE基准体系的第一阶段，涵盖命名实体识别、情感分析以及在相应数据集上的自动语音识别任务。我们重点关注自然生成的语音（而非朗读或合成语音），并采用公开可获取的数据集。我们在VoxCeleb和VoxPopuli数据集的子集上提供了新的转写文本与标注信息，给出了评估指标与基线模型的性能结果，并开源了一个工具包，支持复现基线模型及评估新模型。