3 个月前

意图保持的改写中的意义与形式分解

意图保持的改写中的意义与形式分解

摘要

我们提出一种生成英文问题改写句的方法,该方法在保持原始语义意图不变的前提下,采用不同的表面形式进行表达。我们的模型结合了精心设计的训练目标与严谨的信息瓶颈机制,以诱导出一个能够将语义与形式解耦的潜在编码空间。通过训练一个编码器-解码器模型,使其能够从语义相同但表面形式不同的改写句中重建原始问题,并利用具有相同表面形式的示例进行约束,从而实现语义与形式编码空间的分离。我们采用向量量化变分自编码器(Vector-Quantized Variational Autoencoder)将表面形式表示为一组离散的潜在变量,从而在测试阶段可通过分类器选择不同的表面形式。关键在于,本方法无需依赖外部的目标示例源。大量实验与人工评估表明,相较于以往方法,我们的模型能够在语义保持与句法新颖性之间实现更优的平衡。

代码仓库

基准测试

基准方法指标
paraphrase-generation-on-paralexSeparator
iBLEU: 14.84
paraphrase-generation-on-quora-question-pairs-1Separator
iBLEU: 5.84

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
意图保持的改写中的意义与形式分解 | 论文 | HyperAI超神经