[发明专利]一种面向地址场景识别的离线文字识别方法

权利要求书

1.一种面向地址场景识别的离线文字识别方法，其特征在于，包括以下步骤：

S1：对数据集进行预处理：去除数据集标注文本中无法识别的生僻字，以及该标注文本对应的图像，其中，数据集包括图像和图像对应的标注文本；

S2：使用ICDAR2017RCTW数据集对连接预选框网络CTPN进行训练；

S3：训练卷积循环神经网络CRNN模型；

S4：输入预处理后的图像，使用CTPN定位图像中所有文本的位置，并使用矩形框将文本框出，提供矩形的顶点坐标以及宽高；

S5：将步骤S4中输出的文本框坐标输入CRNN，对文本框中的文本进行识别，输出预测文本；

所述步骤S5的具体过程是：

S51：对步骤S4中输出的文本框，使用CNN提取其特征图；

S52：将CNN提取出的特征转换为特征向量，特征向量的数量等于特征图的通道数，这些特征向量每一个关联一个感受野，整体构成一个特征序列；

S53：将特征序列中的向量作为一个个时间步输入RNN中，RNN输出序列的得分矩阵；

S54：使用CTC-loss处理文本序列对齐问题，场景文本由于拍照环境、印刷瑕疵问题，字体大小可能不统一，且文本可能不完全水平，因此需要处理序列的对齐问题；同时因为框的大小固定，而文字的大小不一，每个文字可能被多个框框中，从而有多个得分，需要将分数整合，去掉重复的文本框；

还包括S6的具体过程是：

S61：对于S5中输出的预测文本，将文本按照高德地图要求的格式加入请求URL中发出GET请求；

S62：获取返回的建议地址结果；

S63：将结果与识别的地址文本比对，文本重合度超过阈值时将建议地址结果作为最终的地址文本结果。

2.根据权利要求1所述的面向地址场景识别的离线文字识别方法，其特征在于，将预测文本输入地图检索接口，对地址进行模糊匹配，得到准确的地址文本。

3.根据权利要求2所述的面向地址场景识别的离线文字识别方法，其特征在于，所述步骤S3的具体过程是：

S31：卷积循环神经网络CRNN模型的训练过程基于最小化CTCloss进行：

设特征图的大小为m×T，其中m为特征图的通道数，T为时间步的数量，则输出的得分序列为：

X＝(x¹,x²,…,x^T)

其中的每个元素对应输入的单个时间步；

设对于上述的X，预测识别的文本序列为：

Y＝(y¹,y²,…,y^U)

对于一对(X,Y)，建立条件概率如下：

P(Y|X)＝∑Align∈AlignX,Y(∏Tt＝1pt(at|X)

其中，使用最小化负对数损失代替最大似然估计，因此，对于N个样本(X₁,Y₁),(X₂,Y₂),…(X_N,Y_N)损失函数为：

基于此lossfunction来进行前向传播，训练CRNN模型；

S32：由于地址文本的语法与自然语言有一定的差距，此处先使用ICDAR2017RCTW数据集训练得到预训练模型，之后使用1200张标注过的地址图像进行迁移学习训练。

4.根据权利要求3所述的面向地址场景识别的离线文字识别方法，其特征在于，所述步骤S4的具体过程是：

S41：将图片调整至CTPN输入需要的尺寸；

S42：使用VGG16卷积神经网络提取图像的特征，获得特征图；

S43：在特征图上使用滑动窗口，即图像中的每个点都结合周围区域特征获得特征向量，此时的特征只包含了CNN学习到的空间特征；

S44：将特征向量输入BiLSTM，学习每一行的序列特征，最后输出的特征既包含了CNN学习到的空间特征，也包含BLSTM学习到的序列特征；

S45：将序列特征输入全连接卷积层；

S46：将全连接层的输出输入RPN输出预选文本框。