摘要

我们介绍了ViT5，这是一种基于Transformer的越南语预训练编码器-解码器模型。通过类似于T5的自监督预训练方法，ViT5在大量高质量且多样化的越南语文本语料库上进行了训练。我们在两个下游文本生成任务上对ViT5进行了基准测试：抽象文本摘要（Abstractive Text Summarization）和命名实体识别（Named Entity Recognition）。尽管由于丰富的数据资源，英语的抽象文本摘要已经得到了广泛研究，但针对越南语这一资源较少的语言，该任务的研究却相对匮乏。在这项工作中，我们对越南语的抽象文本摘要和命名实体识别进行了详尽的实验，验证了ViT5与其他多种基于Transformer的预训练编码器-解码器模型相比的性能。实验结果表明，ViT5在越南语文本摘要任务中显著优于现有模型，并达到了当前最佳水平。在命名实体识别任务中，ViT5的表现与之前基于预训练编码器的Transformer模型的最佳结果相当。进一步分析显示，在不同设置下，自监督预训练过程中上下文长度的重要性对下游任务性能的影响。