3 个月前

基于可微二值化与自适应尺度融合的实时场景文本检测

基于可微二值化与自适应尺度融合的实时场景文本检测

摘要

近年来,基于分割的场景文本检测方法因其在检测任意形状及极端长宽比文本实例方面的显著优势,受到广泛关注。这一优势源于其像素级的描述能力。然而,现有的大多数基于分割的方法在实际应用中仍面临两大瓶颈:一是后处理算法复杂,且与模型优化相互割裂,耗时较长;二是分割模型的尺度鲁棒性不足,通常通过直接融合多尺度特征图来增强,但这种方式缺乏自适应能力。针对上述问题,本文提出一种可微分二值化(Differentiable Binarization, DB)模块,将后处理流程中至关重要的二值化步骤融入分割网络中,实现端到端的联合优化。在DB模块的协同优化下,分割网络能够生成更为精确的文本区域预测,从而在保持简单推理流程的同时显著提升文本检测的精度。此外,本文还设计了一种高效的自适应尺度融合(Adaptive Scale Fusion, ASF)模块,通过自适应地融合多尺度特征,有效提升模型对不同尺度文本的鲁棒性。将所提出的DB与ASF模块与分割网络相结合,所构建的场景文本检测器在五个标准基准测试上均取得了当前最优的检测精度与速度表现,实现了性能与效率的双重突破。

代码仓库

MhLiao/DB
官方
pytorch
GitHub 中提及
JaidedAI/EasyOCR
pytorch
GitHub 中提及
open-mmlab/mmocr
pytorch
GitHub 中提及

基准测试

基准方法指标
scene-text-detection-on-icdar-2015DBNet++ (ResNet-18) (736)
F-Measure: 83.1
FPS: 44
Precision: 90.1
Recall: 77.2
scene-text-detection-on-icdar-2015DBNet++ (ResNet-50) (1152)
F-Measure: 87.3
FPS: 10
Precision: 90.9
Recall: 83.9
scene-text-detection-on-msra-td500DBNet++ (ResNet-18) (512)
F-Measure: 82.6
FPS: 80
Precision: 89.7
Recall: 76.5
scene-text-detection-on-msra-td500DBNet++ (ResNet-50) (736)
F-Measure: 87.2
FPS: 29
Precision: 91.5
Recall: 83.3
scene-text-detection-on-msra-td500DBNet++ (ResNet-18) (736)
F-Measure: 85.1
FPS: 55
Precision: 87.9
Recall: 82.5
scene-text-detection-on-total-textDBNet++ (ResNet-18) (800)
F-Measure: 83.3%
FPS: 48
Precision: 87.4
Recall: 79.6
scene-text-detection-on-total-textDBNet++ (ResNet-50) (800)
F-Measure: 86%
FPS: 28
Precision: 88.9
Recall: 83.2

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供