4 个月前

高性能Transformer在表格结构识别中需要早期卷积

高性能Transformer在表格结构识别中需要早期卷积

摘要

表格结构识别(TSR)旨在将表格图像转换为机器可读格式,其中视觉编码器提取图像特征,而文本解码器生成表示表格的标记。现有的方法通常使用经典的卷积神经网络(CNN)主干作为视觉编码器,而使用变压器(Transformer)作为文本解码器。然而,这种混合的CNN-Transformer架构引入了一个复杂的视觉编码器,该编码器几乎占用了模型总参数的一半,显著降低了训练和推理的速度,并阻碍了TSR中自监督学习的潜力。在本研究中,我们设计了一种轻量级的视觉编码器用于TSR,同时不牺牲其表达能力。我们发现,一个卷积茎可以匹配经典CNN主干的性能,但模型要简单得多。卷积茎在高性能TSR所需的两个关键因素之间达到了最优平衡:较高的感受野(Receptive Field, RF)比和较长的序列长度。这使得它能够“看到”表格的适当部分,并在后续变压器所需的足够上下文长度内“存储”复杂的表格结构。我们进行了可重复的消融实验,并将代码开源至https://github.com/poloclub/tsr-convstem,以增强透明度、激发创新并促进我们在该领域的公平比较,因为表格是一种有前景的学习表示模态。

代码仓库

poloclub/tsr-convstem
官方
pytorch
GitHub 中提及
poloclub/unitable
pytorch
GitHub 中提及

基准测试

基准方法指标
table-recognition-on-pubtabnetConvStem
TEDS (all samples): 96.53

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
高性能Transformer在表格结构识别中需要早期卷积 | 论文 | HyperAI超神经