[发明专利]一种基于混合CNN-LSTM网络的文字识别方法

权利要求书

1.一种基于混合CNN-LSTM网络的文字识别方法，其特征在于，该方法包括以下步骤：

1)获取包含文本的图片(w，h，n)，将图片灰度化、归一化；

2)将图片分为训练样本和测试样本两部分，并将训练样本图片对应的文本根据字典转码成二值向量序列作为标签；

3)将步骤2)中处理过的训练样本的图片与标签输入混合CNN-LSTM网络中进行数据训练，训练完成后获取识别模型；

4)将步骤1)、2)处理后的图像和标签输入步骤3)中的识别模型，输出特征矩阵；

5)将步骤4)中的特征矩阵采用梯度下降法进行CTC_loss计算，获取损失函数结果；

6)重复步骤1)至步骤3)，直至步骤5)中的损失函数结果最小，获取的最小的损失函数对应的文本标签序列作为预测数据；

7)将预测数据根据字典再次反转码得到文本，获取测试样本的文字识别结果。

2.根据权利要求1所述的一种基于混合CNN-LSTM网络的文字识别方法，其特征在于，所述的混合CNN-LSTM网络包括用以提取高维特征的卷积神经网络及用以将提取到的高维特征继续通过卷积来提取特征和长期信息的卷积LSTM块。

3.根据权利要求2所述的一种基于混合CNN-LSTM网络的文字识别方法，其特征在于，所述的卷积LSTM块为卷积长短期循环网络与旁路所构成的神经网络结构。

4.根据权利要求3所述的一种基于混合CNN-LSTM网络的文字识别方法，其特征在于，所述的混合CNN-LSTM网络为依次设置卷积块、轻量块、轻量块、卷积长短期块、轻量块、卷积块、卷积长短期块、卷积块、轻量块、卷积块的深度结构的神经网络。

5.根据权利要求4所述的一种基于混合CNN-LSTM网络的文字识别方法，其特征在于，所述的轻量块为宽卷积、深度可分离卷积、逐点卷积连接形成的轻量化结构。

6.根据权利要求1所述的一种基于混合CNN-LSTM网络的文字识别方法，其特征在于，所述的预测数据为0，1二值矩阵，矩阵中1的位置为字典中文字的位置。

7.根据权利要求6所述的一种基于混合CNN-LSTM网络的文字识别方法，其特征在于，步骤7)的具体内容为：

采用CTC解码器对最终得到的特征矩阵进行解码，特征矩阵中1的位置为文字在字典的位置，查找字典后输出具体的文字识别结果。

8.根据权利要求1所述的一种基于CNN-LSTM神经网络的文字识别方法，其特征在于，采用Adma梯度下降算法进行CTC_loss计算，获取损失函数结果。