摘要

基于检索的对话系统在使用预训练语言模型（如基于变压器的双向编码器表示模型，BERT）时表现出卓越性能。在多轮对话中的响应选择任务中，BERT主要致力于学习包含多轮话语的上下文与响应之间的关联关系。然而，这种训练方式在考虑上下文内各轮话语之间相互关系方面仍显不足，导致模型难以全面理解对话的语义流，从而影响响应选择的准确性。为解决这一问题，本文提出一种新的细粒度后训练方法，以更好地体现多轮对话的特性。具体而言，该方法通过在对话会话中对每一对短上下文-响应进行训练，使模型能够学习到话语层级的交互关系。此外，引入一种新的训练目标——话语相关性分类，使模型能够有效捕捉对话话语之间的语义相关性与连贯性。实验结果表明，所提出的模型在三个基准数据集上均取得了显著优于现有方法的性能，达到了新的最先进水平。这充分证明，细粒度后训练方法在响应选择任务中具有高度有效性。