摘要
本文研究了在基于检索的聊天机器人中应用预训练语言模型进行多轮响应选择的问题。为了使模型能够识别说话者变化的信息（这是多轮对话中的一个重要且内在的属性），我们提出了一种新的模型，称为说话者感知BERT（SA-BERT）。此外，还提出了一种说话者感知的解缠策略，以应对复杂的对话情况。该策略根据其中的说话者信息选择少数最重要的语句作为过滤后的上下文。最后，进行了领域适应，以便将领域内知识融入预训练语言模型中。在五个公开数据集上的实验表明，我们提出的模型在所有指标上均大幅优于现有模型，并在多轮响应选择任务上达到了新的最先进水平。
代码仓库
JasonForJoy/BERT-for-Response-Selection
tf
GitHub 中提及
JasonForJoy/SA-BERT
官方
tf
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| conversational-response-selection-on-douban-1 | SA-BERT | MAP: 0.619 MRR: 0.659 P@1: 0.496 R10@1: 0.313 R10@2: 0.481 R10@5: 0.847 |
| conversational-response-selection-on-e | SA-BERT | R10@1: 0.704 R10@2: 0.879 R10@5: 0.985 |
| conversational-response-selection-on-rrs | SA-BERT+BERT-FP | MAP: 0.701 MRR: 0.715 P@1: 0.555 R10@1: 0.497 R10@2: 0.685 R10@5: 0.931 |
| conversational-response-selection-on-rrs-1 | SA-BERT+BERT-FP | NDCG@3: 0.674 NDCG@5: 0.753 |
| conversational-response-selection-on-ubuntu-1 | SA-BERT | R10@1: 0.855 R10@2: 0.928 R10@5: 0.983 R2@1: 0.965 |
| conversational-response-selection-on-ubuntu-3 | SA-BERT | Accuracy: 60.42 |