HyperAIHyperAI

Command Palette

Search for a command to run...

重新思考编码器-解码器中的扰动以实现快速训练

Sho Takase Shun Kiyono

摘要

我们通常利用扰动(perturbations)来正则化神经网络模型。对于神经编码器-解码器架构,以往的研究采用了调度采样(scheduled sampling,Bengio 等,2015)和对抗性扰动(adversarial perturbations,Sato 等,2019)等方法作为扰动手段,但这些方法往往需要较大的计算开销。因此,本研究旨在探讨这些方法在训练时间效率方面是否足够高效。我们针对序列到序列(sequence-to-sequence)任务,比较了多种扰动方法在计算时间上的表现。实验结果表明,尽管计算速度更快,一些简单的技术如词 dropout(Gal 和 Ghahramani,2016)以及输入标记的随机替换,其性能表现可与近期提出的复杂扰动方法相媲美,甚至更优。相关代码已公开,地址为:https://github.com/takase/rethink_perturbations


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
重新思考编码器-解码器中的扰动以实现快速训练 | 论文 | HyperAI超神经