HyperAIHyperAI

Command Palette

Search for a command to run...

LayoutXLM:面向多语言视觉丰富文档理解的多模态预训练模型

Yiheng Xu Tengchao Lv Lei Cui Guoxin Wang Yijuan Lu Dinei Florencio Cha Zhang Furu Wei

摘要

多模态预训练结合文本、布局和图像在近期的视觉丰富文档理解任务中取得了最先进的性能,这表明跨不同模态的联合学习具有巨大的潜力。本文介绍了LayoutXLM,一种用于多语言文档理解的多模态预训练模型,旨在克服视觉丰富文档理解中的语言障碍。为了准确评估LayoutXLM,我们还引入了一个名为XFUND的多语言表单理解基准数据集,该数据集包含7种语言(中文、日文、西班牙语、法语、意大利语、德语、葡萄牙语)的表单理解样本,并且每种语言的关键值对都进行了人工标注。实验结果表明,LayoutXLM模型在XFUND数据集上的表现显著优于现有的最先进的跨语言预训练模型。预训练的LayoutXLM模型和XFUND数据集已公开发布,可访问 https://aka.ms/layoutxlm 获取。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供