摘要
典型的文本识别方法依赖于编码器-解码器结构，其中编码器从图像中提取特征，而解码器则根据这些特征生成识别的文本。在本研究中，我们提出了一种更简单且更有效的文本识别方法，即仅解码器Transformer用于光学字符识别（DTrOCR）。该方法利用仅解码器Transformer，借助预先在大规模语料库上训练的生成式语言模型。我们探讨了在自然语言处理中表现出色的生成式语言模型是否也能有效应用于计算机视觉中的文本识别。实验结果表明，DTrOCR在英文字体、手写字体以及场景文本的识别上均大幅超越了当前最先进的方法，无论是英文还是中文。
代码仓库
arvindrajan92/DTrOCR
pytorch
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| handwritten-text-recognition-on-iam | DTrOCR 105M | CER: 2.38 |
| optical-character-recognition-on-benchmarking | DTrOCR 105M | Accuracy (%): 89.6 |
| optical-character-recognition-on-benchmarking | DTrOCR | Accuracy (%): 89.6 |
| scene-text-recognition-on-cute80 | DTrOCR 105M | Accuracy: 99.1 |
| scene-text-recognition-on-icdar2013 | DTrOCR 105M | Accuracy: 99.4 |
| scene-text-recognition-on-icdar2015 | DTrOCR 105M | Accuracy: 93.5 |
| scene-text-recognition-on-iiit5k | DTrOCR 105M | Accuracy: 99.6 |
| scene-text-recognition-on-svt | DTrOCR 105M | Accuracy: 98.9 |
| scene-text-recognition-on-svtp | DTrOCR 105M | Accuracy: 98.6 |