4 个月前

微小变化带来巨大差异:通过细粒度对比学习改进多轮对话系统中的响应选择

微小变化带来巨大差异:通过细粒度对比学习改进多轮对话系统中的响应选择

摘要

基于检索的对话响应选择旨在从候选集中为多轮对话上下文找到一个合适的响应。预训练语言模型(PLMs)在这一任务上取得了显著的改进。序列表示在学习对话上下文与响应之间的匹配度中起着关键作用。然而,我们观察到,共享相同上下文的不同上下文-响应对在通过PLMs计算的序列表示中总是具有更高的相似性,这使得区分正向响应和负向响应变得困难。为此,我们提出了一种基于PLMs的新型细粒度对比(FGC)学习方法来解决响应选择任务。该FGC学习策略有助于PLMs生成每个对话在细粒度上的更具区分性的匹配表示,从而进一步提高选择正向响应的预测准确性。在两个基准数据集上的实证研究表明,所提出的FGC学习方法可以普遍且显著地提升现有基于PLM的匹配模型的性能。

基准测试

基准方法指标
conversational-response-selection-on-ubuntu-1BERT-UMS+FGC
R10@1: 0.886
R10@2: 0.948
R10@5: 0.990

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
微小变化带来巨大差异:通过细粒度对比学习改进多轮对话系统中的响应选择 | 论文 | HyperAI超神经