HyperAIHyperAI

Command Palette

Search for a command to run...

构建基础模型以实现自动代码摘要生成

Jian Gu Pasquale Salza Harald C. Gall

摘要

自动代码摘要对日常软件开发有益,因为它可以减少手动编写的需要。目前,人工智能正在经历一种范式转变。基于大规模数据预训练并在下游任务上微调的基础模型已经超越了专门定制的模型。这一趋势促使我们考虑重用基础模型而不是从头开始学习。因此,我们提出了一种灵活且强大的自动代码摘要方法,该方法基于神经网络模型。我们将现有的基础模型(如CodeBERT和GPT-2)组合成一个单一的神经网络模型,命名为AdaMo。此外,我们利用高斯噪声作为上下文信息的模拟来优化潜在表示。进一步地,我们从知识迁移的角度引入了两种自适应方案,即连续预训练和中间微调,并为通用序列到序列学习设计了中间阶段任务。最后,我们通过与最先进的模型进行比较,在代码摘要基准数据集上评估了AdaMo。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
构建基础模型以实现自动代码摘要生成 | 论文 | HyperAI超神经