摘要

我们探讨了视觉变换器（Vision Transformer, ViT）在手写文本识别中的应用。由于该领域标记数据的有限可用性，仅依赖ViT实现高性能面临挑战。先前基于变换器的模型需要外部数据或在大型数据集上进行广泛的预训练才能表现出色。为了解决这一局限性，我们提出了一种数据高效的ViT方法，该方法仅使用标准变换器的编码器部分。我们发现，通过引入卷积神经网络（Convolutional Neural Network, CNN）进行特征提取，替代原有的补丁嵌入，并采用锐度感知最小化（Sharpness-Aware Minimization, SAM）优化器来确保模型收敛于更平坦的极小值点，可以显著提升性能。此外，我们引入了跨度掩码技术，该技术在特征图中遮蔽互连的特征，起到了有效的正则化作用。实验证明，我们的方法在IAM和READ2016等小型数据集上与传统的CNN模型具有竞争力，并且在目前最大的包含19,830条训练文本行的LAM数据集上建立了新的基准。代码已公开发布于：https://github.com/YutingLi0606/HTR-VT。