摘要

近期，预训练技术的兴起见证了文档理解领域的快速发展。预训练和微调框架已被有效应用于处理各种格式的文本，包括纯文本、文档文本和网页文本。尽管取得了令人鼓舞的性能，现有的预训练模型通常一次仅针对一种特定的文档格式，这使得难以整合来自多种文档格式的知识。为了解决这一问题，我们提出了XDoc，这是一种统一的预训练模型，能够在单一模型中处理不同的文档格式。为了提高参数效率，我们共享了不同格式之间的主干参数，例如词嵌入层和Transformer层。同时，我们引入了轻量级参数的自适应层，以增强不同格式之间的区分度。实验结果表明，XDoc仅使用36.7%的参数，在多种下游任务上实现了与单独预训练模型相当甚至更好的性能，这对于实际部署具有成本效益。代码和预训练模型将在\url{https://aka.ms/xdoc}公开提供。