摘要

最近开发的预训练文本和布局模型（PTLMs）在视觉丰富文档（VrDs）的多个信息提取任务中表现出显著的成功。然而，尽管在基准测试中取得了极高的性能，这些模型在实际应用中的表现却未能达到预期。鉴于这一问题，我们对现有的评估流程进行了调查，揭示了以下两个主要问题：(1) 基准数据集中的注释不足导致任务输入和标签之间出现虚假相关性，从而导致对模型性能的过度乐观估计。(2) 评估仅依赖于基准测试的性能，不足以全面探索方法在现实场景中的能力。这些问题阻碍了现有评估流程真实反映方法的实际性能，误导了方法优化的设计选择。在这项工作中，我们引入了EC-FUNSD，这是一个专门用于评估视觉丰富文档信息提取的实体中心数据集。该数据集包含多样的布局和高质量的注释。此外，该数据集解耦了FUNSD块级注释中错误关联的段落和实体注释。利用所提出的数据集，我们从多个方面评估了PTLMs在实际信息提取任务中的能力，包括其绝对性能、泛化能力、鲁棒性和公平性。结果表明，现有的PTLMs在实际信息提取场景中的表现并不如预期那样出色。我们希望本研究能够激发对PTLM发展方向的反思。