[发明专利]一种基于混合CNN-LSTM网络的文字识别方法

说明书

本发明涉及一种基于混合CNN‑LSTM网络的文字识别方法，包括步骤：1)获取包含文本的图片，将图片灰度化、归一化；2)将图片分为训练样本和测试样本两部分，将训练样本图片对应的文本根据字典转码成二值向量序列作为标签；3)将处理过的训练样本的图片与标签输入混合CNN‑LSTM网络中进行数据训练，获取识别模型；4)将处理后的图像和标签输入识别模型，输出特征矩阵；5)将特征矩阵采用梯度下降法进行CTC_loss计算，获取损失函数结果；6)重复1)～3)，直至损失函数结果最小，获取其对应的文本标签序列作为预测数据；7)将预测数据根据字典再次反转码得到文本，获取文字识别结果。与现有技术相比，本发明具有简化运算、增强识别效果等优点。

技术领域

本发明涉及深度学习领域和文字识别领域，尤其是涉及一种基于混合CNN-LSTM网络的文字识别方法。

背景技术

近年来随着深度学习领域飞速发展，其在语音识别、文字识别等多个领域取得了优异的成果。现有技术中较为流行的用于文本识别和语音识别的神经网络设计方法通常层数较浅，无法更好的提取高维特征，导致识别效果较差，且使用基于深度学习的神经网络结构的运算过程通常需要巨量的运算资源，不利于移动端的开发。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于混合CNN-LSTM网络的文字识别方法。

本发明的目的可以通过以下技术方案来实现：

一种基于混合CNN-LSTM网络的文字识别方法，该方法包括下列步骤：

S1：获取包含文本的图片，将图片灰度化、归一化；

S2：将图片分为训练样本和测试样本两部分，并将训练样本图片对应的文本根据字典转码成二值向量序列作为标签；

S3：将步骤S2中处理过的训练样本的图片与标签输入混合CNN-LSTM网络中进行数据训练，训练完成后获取识别模型；

混合CNN-LSTM网络为包含卷积神经网络和卷积LSTM(Long Short-Term Memory，长短期记忆)网络的深度结构的神经网络，卷积神经网络用以提取高维特征，卷积LSTM网络用以将提取到的高维特征继续通过卷积来提取特征和长期信息。其中，卷积LSTM网络为卷积长短期循环网络与旁路所构成的神经网络结构。

混合CNN-LSTM网络的具体结构包括依次设置的卷积块、轻量块、轻量块、卷积长短期块、轻量块、卷积块、卷积长短期块、卷积块、轻量块、卷积块。所述的轻量块为宽卷积、深度可分离卷积、逐点卷积连接形成的轻量化结构。

S4：将步骤S1、S2处理后的图像和标签输入步骤S3中的识别模型，输出特征矩阵；

S5：将步骤S4中的特征矩阵采用梯度下降法进行CTC_loss(ConnectionistTemporal Classification loss，联结主义时间分类损失)计算，获取损失函数结果；优选地，采用Adma梯度下降算法进行CTC_loss计算，获取损失函数结果。

S6：重复步骤S1至步骤S3，直至步骤S5中的损失函数结果最小，获取的最小的损失函数对应的文本标签序列作为预测数据；预测数据为0，1二值矩阵，矩阵中1的位置为字典中文字的位置。

S7：将预测数据根据字典再次反转码得到文本，获取测试样本的文字识别结果。具体内容为：

采用CTC解码器对最终得到的特征矩阵进行解码，特征矩阵中1的位置为文字在字典的位置，查找字典后输出具体的文字识别结果。

与现有技术相比，本发明具有以下优点：

1)本发明中轻量结构块中深度可分离卷积的使用减少了程序运算所需参数，简化了运算，轻量化的网络可用于移动端开发；