
摘要
文本识别因其广泛的应用前景而受到广泛关注。当前先进的文本识别方法主要基于注意力机制。然而,大多数注意力机制方法由于依赖历史解码结果进行递归对齐操作,往往面临严重的对齐问题。为解决这一问题,本文提出一种解耦注意力网络(Decoupled Attention Network, DAN),该方法将对齐操作与历史解码结果解耦,从而摆脱对先前解码结果的依赖。DAN是一种高效、灵活且鲁棒的端到端文本识别框架,由三个核心组件构成:1)特征编码器,用于从输入图像中提取视觉特征;2)卷积对齐模块,基于编码器输出的视觉特征完成对齐操作;3)解耦文本解码器,通过联合使用特征图与注意力图进行最终预测。实验结果表明,DAN在多项文本识别任务中均取得了当前最优性能,涵盖离线手写文本识别以及规则与非规则场景文本识别。
代码仓库
wanglibing727/DAN_pytorch
pytorch
Canjie-Luo/Scene-Text-Image-Transformer
官方
pytorch
GitHub 中提及
Canjie-Luo/Text-Image-Augmentation
pytorch
GitHub 中提及
topdu/openocr
pytorch
GitHub 中提及
Wang-Tianwei/Decoupled-attention-network
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| handwritten-text-recognition-on-iam | Decouple Attention Network | CER: 6.4 WER: 19.6 |
| scene-text-recognition-on-icdar-2003 | DAN | Accuracy: 95.0 |
| scene-text-recognition-on-icdar2013 | DAN | Accuracy: 93.9 |
| scene-text-recognition-on-icdar2015 | DAN | Accuracy: 74.5 |
| scene-text-recognition-on-svt | DAN | Accuracy: 89.2 |