[发明专利]一种基于Transformer模型自然场景文字识别方法

说明书

本发明公开了一种基于Transformer模型自然场景文字识别方法，在特征提取网络中内加入残差注意力模块，使得特征提取网络可以对特征进行有选择的关注，从而增强文本区域信息，抑制干扰信息，从而缓解自然场景中的图像中的阴影、背景纹理以及噪声等干扰因素对识别结果的影响。本发明采用完全由注意力机制组成的Transformer模型替代传统的具有循环结构的RNN网络，本发明Transformer模型的具有更好的并行计算的能力，解决了原方法中训练耗时以及难以训练的问题。另外，本发明将高斯偏置加入到Transformer模型的自注意力机制中，解决Transformer模型中的自注意力机制弱于捕获序列中的局部依赖的问题，使得Transformer模型更适用于文字识别任务。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于Transformer模型自然场景文字识别方法。

背景技术

文字检测是计算机视觉领域研究的热点，其旨在将自然场景图像中的文字的位置检测出来，以供下一步进行识别，从而将图像转换为可供计算机处理的真实的文字信息。自然场景图像中的文字通常在字体、组合方式和文字大小等方面存在着较大的差异，且自然场景图像还在光照强度、分辨率、图像噪声以及拍摄角度等方面存在很大的不确定性，这些复杂的因素大大增加了自然场景下的文字检测的难度。

由Shi B,Bai X,Yao C.An End-to-End Trainable Neural Network for Image-based Sequence Recognition and Its Application to Scene Text Recognition提出的CRNN算法是目前常用的一种文字识别算法，该算法凭借其优异的性能和识别准确率，得到了广泛的应用。CRNN算法使用一个CNN网络来提取图片中的特征，然后将特征切片成特征序列，输入到一个双向LSTM网络中进行识别，最后采用CTC算法对识别结果进行对齐，得到最终的识别结果。

然而，由于CRNN算法采用了RNN网络作为序列的学习模型，而RNN网络固有的顺序属性阻碍了训练样本间的并行化，对于长序列，内存限制将阻碍对训练样本的批量处理。同时，RNN网络在训练时耗时太长，并且容易产生梯度爆炸或梯度消失，难以训练。

发明内容

本发明提供了一种基于Transformer模型自然场景文字识别方法，以解决现有的基于RNN网络的自然场景文字识别算法训练时间过长以及难以训练的问题。

本发明提供了一种基于Transformer模型自然场景文字识别方法，包括：

步骤S100，对输入的自然场景文字图片进行预处理；

步骤S200，将经预处理的自然场景文字图片传入特征提取网络，得到包含图片文字信息的特征图，其中，特征提取网络包括VGG网络与残差注意力模块；

步骤S300，将得到的特征图进行切片，得到特征序列；

步骤S400，将特征序列传入Transformer模型，经过Transformer模型的编码和解码处理，得到输出序列，其中，Transformer模型的自注意力机制中加入高斯偏置GaussianBias；

步骤S500，将输出序列中的向量转换为对应的字符，输出自然场景文字图片中的文本内容。

可选地，步骤S100，对输入的自然场景文字图片进行预处理，包括，

步骤S110，将自然场景文字图片进行等比例缩放，使自然场景文字图片的高度固定为预设像素；

步骤S120，对经缩放的自然场景文字图片进行末尾位置补齐，使自然场景文字图片图像的宽度为4的整数倍。

可选地，步骤S200、步骤S300包括，