摘要

基于Transformer的编码器-解码器架构在识别手写数学表达式方面最近取得了显著进展。然而，Transformer模型仍然存在覆盖不足的问题，导致其表达式识别率（ExpRate）低于递归神经网络（RNN）模型。覆盖信息记录了过去步骤中的对齐信息，在RNN模型中已被证明是有效的。本文提出了一种名为CoMER的模型，该模型在Transformer解码器中引入了覆盖信息。具体而言，我们设计了一种新颖的注意力精炼模块（Attention Refinement Module, ARM），利用过去的对齐信息来优化注意力权重，同时不影响其并行性。此外，我们将覆盖信息进一步扩展，提出了自覆盖和交叉覆盖机制，这些机制利用了当前层和前一层的过去对齐信息。实验结果表明，CoMER相比当前最先进的模型提高了0.61%、2.09%和1.59%的ExpRate，并在CROHME 2014、2016和2019测试集上分别达到了59.33%、59.81%和62.97%的识别率。