3 个月前

RelGAN:用于文本生成的关系生成对抗网络

RelGAN:用于文本生成的关系生成对抗网络

摘要

生成对抗网络(GANs)在生成逼真图像方面已取得显著成功,但在文本生成任务中,现代GAN架构仍面临巨大挑战。本文提出一种新型GAN架构——RelGAN,用于文本生成。该架构包含三个核心组件:基于关系记忆的生成器,用于建模长距离依赖关系;Gumbel-Softmax松弛方法,用于在离散数据上训练GAN;以及判别器中引入的多种嵌入表示,以向生成器提供更具信息量的更新信号。实验结果表明,RelGAN在样本质量与多样性方面均优于当前最先进的模型。通过消融实验进一步揭示,RelGAN的每一组件均对其性能提升起到关键作用。此外,本方法的一个显著优势在于,可通过单一可调参数灵活控制样本质量与多样性之间的权衡,这一特性使其区别于其他GAN模型。最后,RelGAN是首个成功将Gumbel-Softmax松弛方法应用于真实文本生成的GAN架构。

基准测试

基准方法指标
text-generation-on-coco-captionsRelGAN (100)
BLEU-2: 0.849
BLEU-3: 0.687
BLEU-4: 0.502
text-generation-on-emnlp2017-wmtRelGAN
BLEU-2: 0.881
BLEU-3: 0.705
BLEU-4: 0.501
BLEU-5: 0.319

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
RelGAN:用于文本生成的关系生成对抗网络 | 论文 | HyperAI超神经