3 个月前

面向问答系统语义检索的多任务句向量编码模型

面向问答系统语义检索的多任务句向量编码模型

摘要

问答(Question Answering, QA)系统用于自动为用户问题提供准确的回答。句子匹配是QA系统中的关键任务,通常被重新表述为释义识别(Paraphrase Identification, PI)问题。给定一个用户问题,该任务的目标是从QA知识库中找出语义最相似的问题。本文提出了一种多任务句向量编码模型(Multi-task Sentence Encoding Model, MSEM),用于解决PI问题。该模型通过构建一个有向图来刻画句子之间的语义关系,并采用多任务学习框架,同时处理句子匹配与句子意图分类任务。此外,我们设计了一个通用的语义检索框架,将所提出的模型与近似最近邻(Approximate Nearest Neighbor, ANN)技术相结合,从而在在线服务过程中能够快速从所有候选问题中检索出最相似的问题。实验结果表明,与现有的句子匹配模型相比,本文提出的方法具有显著优势。

基准测试

基准方法指标
paraphrase-identification-on-quora-questionMSEM
Accuracy: 88.86

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
面向问答系统语义检索的多任务句向量编码模型 | 论文 | HyperAI超神经