摘要

对话响应选择旨在从多个候选响应中选择一个合适的响应，基于给定的用户和系统对话历史。现有的大多数研究主要集中在为交叉编码器设计的后训练和微调方法上。然而，在对话响应选择中，尚无专门针对密集编码器的后训练方法。我们认为，当当前基于密集对话系统的语言模型（如BERT）作为密集编码器使用时，它分别对对话上下文和响应进行编码，导致两者表示难以对齐。因此，我们提出了一种简单而有效的后训练技术——Dial-MAE（对话上下文掩码自编码器），专门用于密集编码器在对话响应选择中的应用。Dial-MAE采用非对称的编码器-解码器架构，将对话语义压缩为密集向量，从而实现对话上下文和响应特征之间的更好对齐。我们的实验结果表明，Dial-MAE非常有效，在两个常用的评估基准上达到了最先进的性能。