摘要

近年来，预训练技术在多种自然语言处理（NLP）任务中得到了成功的验证。尽管预训练模型在NLP应用中被广泛使用，但它们几乎完全集中在文本层面的操作上，而忽视了对文档图像理解至关重要的布局和样式信息。本文提出了一种LayoutLM模型，用于联合建模扫描文档图像中的文本和布局信息之间的交互作用，这有助于许多实际的文档图像理解任务，例如从扫描文档中提取信息。此外，我们还利用图像特征将单词的视觉信息融入到LayoutLM中。据我们所知，这是首次在一个框架内同时学习文本和布局信息以进行文档级别的预训练。该模型在多个下游任务中取得了新的最先进结果，包括表单理解（从70.72提高到79.27）、收据理解（从94.02提高到95.24）和文档图像分类（从93.07提高到94.42）。LayoutLM的代码和预训练模型已公开发布于\url{https://aka.ms/layoutlm}。