摘要

编码器-解码器模型已成为序列学习任务（如机器翻译、图像描述生成和语音识别）的有效方法，但在手写文本识别方面尚未展现出具有竞争力的结果。为此，我们提出了一种基于注意力机制的序列到序列模型。该模型结合了卷积神经网络作为通用特征提取器，以及循环神经网络来编码输入图像中的视觉信息及字符之间的时序上下文，并使用另一个独立的循环神经网络来解码实际的字符序列。我们通过实验对比了多种注意力机制和位置编码，以找到输入和输出序列之间合适的对齐方式。该模型可以端到端地进行训练，且可选地集成混合损失函数，使得编码器在需要时仍能保留可解释性和可用的输出。我们在IAM和ICFHR2016 READ数据集上取得了与现有最佳方法相当的结果，而无需使用语言模型，并且显著优于任何近期的序列到序列方法。