摘要
我们研究了用于对话响应选择的匹配模型的学习方法。鉴于最近的研究发现，使用随机负样本训练的模型在实际应用场景中并不理想，我们提出了一种分层课程学习框架，该框架以“从易到难”的方案训练匹配模型。我们的学习框架包括两个互补的课程：（1）语料库级课程（Corpus-level Curriculum, CC）；（2）实例级课程（Instance-level Curriculum, IC）。在CC中，模型逐渐增强其在对话上下文和响应候选之间寻找匹配线索的能力。而在IC中，则逐步提高模型识别对话上下文和响应候选之间不匹配信息的能力。在三个基准数据集上对三种最先进的匹配模型进行的实证研究表明，所提出的课程学习框架显著提升了模型在各种评估指标上的性能。
代码仓库
yxuansu/HCL
官方
pytorch
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| conversational-response-selection-on-douban-1 | SA-BERT+HCL | MAP: 0.639 MRR: 0.681 P@1: 0.514 R10@1: 0.330 R10@2: 0.531 R10@5: 0.858 |
| conversational-response-selection-on-e | SA-BERT+HCL | R10@1: 0.721 R10@2: 0.896 R10@5: 0.993 |
| conversational-response-selection-on-rrs | SA-BERT+HCL | MAP: 0.671 MRR: 0.683 P@1: 0.503 R10@1: 0.454 R10@2: 0.659 R10@5: 0.917 |