摘要

多模态预训练结合文本、布局和图像在近期的视觉丰富文档理解任务中取得了最先进的性能，这表明跨不同模态的联合学习具有巨大的潜力。本文介绍了LayoutXLM，一种用于多语言文档理解的多模态预训练模型，旨在克服视觉丰富文档理解中的语言障碍。为了准确评估LayoutXLM，我们还引入了一个名为XFUND的多语言表单理解基准数据集，该数据集包含7种语言（中文、日文、西班牙语、法语、意大利语、德语、葡萄牙语）的表单理解样本，并且每种语言的关键值对都进行了人工标注。实验结果表明，LayoutXLM模型在XFUND数据集上的表现显著优于现有的最先进的跨语言预训练模型。预训练的LayoutXLM模型和XFUND数据集已公开发布，可访问 https://aka.ms/layoutxlm 获取。