
摘要
本文提出了一种手写文本识别(Handwritten Text Recognition, HTR)系统,其性能优于当前最先进的方法。该系统的对比实验在HTR任务中三个最常用的数据集——Bentham、IAM和Saint Gall上进行。此外,本文还提供了在两个近期提出的全新数据集(彼得大帝手稿数据集与HKR数据集)上的实验结果。论文详细描述了神经网络的架构,并提出了两种提升训练数据量的方法:一是模拟删除线文本(即手写墨迹,Handwritten Blots)的数据增强技术;二是提出的一种新型文本生成方法——StackMix。实验表明,StackMix在HTR任务中表现出极强的有效性。此外,StackMix还可独立应用于基于印刷文本生成手写文本的任务。
代码仓库
sberbank-ai/StackMix-OCR
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| handwritten-text-recognition-on-bentham | StackMix+Blots | CER: 1.73 |
| handwritten-text-recognition-on-digital-peter | StackMix+Blots | CER: 2.5 |
| handwritten-text-recognition-on-hkr | StackMix+Blots | CER: 3.49 |
| handwritten-text-recognition-on-iam-b | StackMix+Blots | CER: 3.77 |
| handwritten-text-recognition-on-iam-d | StackMix+Blots | CER: 3.01 |
| handwritten-text-recognition-on-saint-gall | StackMix+Blots | CER: 3.65 |