摘要

我们提出了一种带有视觉注意力机制的神经转导模型，该模型能够根据数学公式的图像学习生成LaTeX标记。通过应用在自然语言、图像、手写、语音和音频等多种模态上取得巨大成功的序列建模和转导技术，我们构建了一个从图像到标记的模型，该模型能够生成超过150个单词的语法和语义正确的LaTeX标记代码，并达到了89%的BLEU分数；这比之前Im2Latex问题的最佳方法有所改进。此外，我们还通过热图可视化展示了注意力机制如何帮助解释模型，并且即使在没有边界框数据的情况下训练，也能准确地检测和定位图像中的符号。