4 个月前

半监督一致性训练的形式化风格迁移

半监督一致性训练的形式化风格迁移

摘要

形式化风格迁移(Formality Style Transfer, FST)是一项将非正式句子改写为正式句子的任务,同时不改变其含义。为了应对现有平行数据集的数据稀缺问题,以往的研究倾向于采用循环重构方案来利用额外的未标注数据,其中FST模型主要从目标侧未标注句子中受益。在本研究中,我们提出了一种简单而有效的半监督框架,通过一致性训练更好地利用源侧未标注句子。具体而言,我们的方法通过对源侧非正式句子生成伪平行数据,并强制模型为其扰动版本生成相似的输出。此外,我们通过实证研究考察了不同数据扰动方法的效果,并提出了有效的数据过滤策略以改进我们的框架。实验结果表明,在GYAFC基准测试中,即使使用不到40%的平行数据,我们的方法也能达到最先进的效果。

代码仓库

aolius/semi-fst
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
formality-style-transfer-on-gyafcConsistency Training
BLEU: 81.37

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
半监督一致性训练的形式化风格迁移 | 论文 | HyperAI超神经