摘要

自动代码摘要对日常软件开发有益，因为它可以减少手动编写的需要。目前，人工智能正在经历一种范式转变。基于大规模数据预训练并在下游任务上微调的基础模型已经超越了专门定制的模型。这一趋势促使我们考虑重用基础模型而不是从头开始学习。因此，我们提出了一种灵活且强大的自动代码摘要方法，该方法基于神经网络模型。我们将现有的基础模型（如CodeBERT和GPT-2）组合成一个单一的神经网络模型，命名为AdaMo。此外，我们利用高斯噪声作为上下文信息的模拟来优化潜在表示。进一步地，我们从知识迁移的角度引入了两种自适应方案，即连续预训练和中间微调，并为通用序列到序列学习设计了中间阶段任务。最后，我们通过与最先进的模型进行比较，在代码摘要基准数据集上评估了AdaMo。