摘要

预训练模型在增强任务导向型对话系统方面已被证明非常有效。然而，当前的预训练方法主要集中在提升对话理解和生成任务，而忽视了对话策略的利用。本文提出了一种新的预训练对话模型GALAXY，该模型通过半监督学习从有限的标注对话和大规模未标注对话语料中显式地学习对话策略。具体而言，我们在预训练过程中引入了一个对话行为预测任务以优化策略，并利用一致性正则化项在未标注对话的帮助下改进所学表示。我们还实现了一种门控机制来权衡合适的未标注对话样本。实验结果表明，GALAXY显著提升了任务导向型对话系统的性能，并在基准数据集In-Car、MultiWOZ2.0和MultiWOZ2.1上取得了新的最佳成绩，分别提高了这些数据集的端到端综合评分2.5、5.3和5.5分。此外，我们还展示了GALAXY在各种低资源设置下具有比现有模型更强的少样本能力。