[发明专利]一种基于Transformer模型自然场景文字识别方法

摘要

本发明公开了一种基于Transformer模型自然场景文字识别方法，在特征提取网络中内加入残差注意力模块，使得特征提取网络可以对特征进行有选择的关注，从而增强文本区域信息，抑制干扰信息，从而缓解自然场景中的图像中的阴影、背景纹理以及噪声等干扰因素对识别结果的影响。本发明采用完全由注意力机制组成的Transformer模型替代传统的具有循环结构的RNN网络，本发明Transformer模型的具有更好的并行计算的能力，解决了原方法中训练耗时以及难以训练的问题。另外，本发明将高斯偏置加入到Transformer模型的自注意力机制中，解决Transformer模型中的自注意力机制弱于捕获序列中的局部依赖的问题，使得Transformer模型更适用于文字识别任务。