对话行为识别与情感/情绪识别等序列标注任务是语音对话系统中的关键组成部分。本文提出了一种新方法，用于学习适用于语音对话的通用表示，并在我们提出的全新基准测试集——语音语言序列标注评估基准（Sequence Labelling Evaluation Benchmark for Spoken Language, \texttt{SILICONE}）上进行了评估。\texttt{SILICONE} 具有模型无关性，包含10个不同规模的数据集。我们采用基于Transformer架构的层次化编码器来获取这些表示，并对两种广为人知的预训练目标进行了扩展。预训练在OpenSubtitles数据集上进行，该数据集是一个大规模语音对话语料库，包含超过23亿个词元（tokens）。实验结果表明，与当前最先进模型相比，层次化编码器在保持优异性能的同时，参数量显著更少，且在预训练和微调阶段均展现出重要优势。