摘要

在手写数学表达式识别领域已经取得了显著进展，但现有的编码器-解码器方法通常难以建模 $LaTeX$ 中的全局信息。因此，本文介绍了一种新颖的方法——隐式字符辅助学习（ICAL），用于挖掘全局表达式信息并增强手写数学表达式的识别效果。具体而言，我们提出了隐式字符构建模块（ICCM）来预测隐式字符序列，并使用融合模块将 ICCM 和解码器的输出进行合并，从而生成修正后的预测结果。通过建模和利用隐式字符信息，ICAL 实现了对手写数学表达式的更准确和上下文感知的解释。实验结果表明，ICAL 显著超越了现有最先进（SOTA）模型，在 CROHME 2014/2016/2019 数据集上分别将表达式识别率（ExpRate）提高了 2.25%/1.81%/1.39%，并在具有挑战性的 HME100k 测试集上达到了显著的 69.06%。我们的代码已公开在 GitHub 上：https://github.com/qingzhenduyu/ICAL