摘要

我们提出了一种新的表格结构识别（TSR）方法，称为TSRFormer，旨在从各种表格图像中稳健地识别具有几何畸变的复杂表格结构。与以往的方法不同，我们将表格分隔线预测问题视为线条回归问题而非图像分割问题，并提出了一种基于两阶段DETR的新分离器预测方法，即Separator REgression TRansformer（SepRETR），直接从表格图像中预测分隔线。为了使两阶段DETR框架在分隔线预测任务中高效且有效地工作，我们提出了两项改进措施：1）一种先验增强匹配策略，以解决DETR收敛速度慢的问题；2）一种新的交叉注意力模块，可以直接从高分辨率卷积特征图中采样特征，从而在较低的计算成本下实现高定位精度。在完成分隔线预测后，使用一个简单的基于关系网络的单元合并模块来恢复跨行单元格。通过这些新技术的应用，我们的TSRFormer在多个基准数据集上实现了最先进的性能，包括SciTSR、PubTabNet和WTW。此外，我们在更具挑战性的实际内部数据集上验证了该方法对复杂结构、无边框单元格、大空白区域、空单元格或跨行单元格以及扭曲甚至弯曲形状的表格的鲁棒性。