[发明专利]基于卷积及递归神经网络的复杂光学文字序列识别系统

说明书

技术领域

本发明涉及图像文字识别领域，特别涉及基于卷积及递归神经网络的复杂光学文字序列识别

背景技术

随着社会的发展，产生了大量对古籍、文档、票据、名片等纸质媒体数字化的需求，这里的数字化不仅仅限于使用扫描仪或者相机进行“照片化”，更重要的是将这些纸质文件转化成以可读、可编辑的文档来进行存储，实现这一过程需要对扫描出的图片进行图像文字识别，而传统的图像文字识别为光学文字识别(OCR)。

常规的OCR方法包括了图片的切分，特征提取，单字符识别等处理过程，其中图片的切分包含了大量的图像预处理过程，比如倾斜矫正，背景去噪，单字符的提取；这些处理过程不仅繁琐耗时，而且可能使得图片损失很多可用信息；而且当待识别图片中包含多个文字的字符串时，传统的OCR方法需要将原字符串切分成若干包含单个文字的小图片进行分别识别，而进行文字切分最常用的方法为投影法，即是将图像文字二值化处理后，通过垂直投影找到两个文字之间的分界线，根据分界线将文字切分开来，该方法主要存在的主要问题为：当待识别图像文字序列中包含背景噪音、字符扭曲、字符粘合等情况下，造成文字的切分困难。特别是当待识别图像文字序列中混合了左右偏旁的汉子、字母、数字、符号时，或者在待识别图像文字序列中混合有半角和全角格式的字符，由于格式的差异造成字符大小和间隙存在区别，通过简单的投影法不能准确的将待识别图像文字序列中的单字符切分出来。而一旦切分出现了问题，就很难得到准确的识别结果。

急需一种能够实现快速高效识别混合有汉字、数字、字母或者混合有全角半角格式的复杂图像文字序列的识别系统来满足巨大的图像文字识别需要。

发明内容

本发明的目的在于克服现有技术中所存在的上述不足，基于卷积及递归神经网络的复杂光学文字序列识别系统。本发明系统通过一个滑动采样框，通过滑动采样的方式提取待识别图像文字序列中的字符信息，并将滑动采样框每次采样获取到的信息输入到卷积神经网络(CNN)中，通过卷积神经网络提取对应采样框的特征数据输入到递归神经网络分类器(RNN)中，通过递归神经网络分类器实现连续预测多个字符的目的。

为了实现上述发明目的，本发明提供了以下技术方案：基于卷积及递归神经网络的复杂光学文字序列识别系统：

包含图像文字输入模块、滑动采样模块、卷积神经网络以及递归神经网络分类器，

其中所述滑动采样模块中包含滑动采样框，所述滑动采样框对图像文字输入模块所输入的待识别图像文字序列进行滑动采样，并将采样所获得的子图片输入到卷积神经网络中；

所述卷积神经网络提取所述子图片的特征，并将提取到的特征输入到所述递归神经网络分类器中；

所述递归神经网络分类器根据卷积神经网络提取的特征数据以及上一时刻递归神经网络分类器的输出数据，计算出该时刻图像文字序列识别结果；

依次迭代，将每个时刻所述递归神经网络分类器的识别结果记录合并，得到待处理图像文字序列的识别结果。

具体的，本发明系统实现复杂图像文字序列识别的过程包含以下步骤：

(1)构建卷积神经网络和递归神经网络分类器模型，所述递归神经网络分类器各个时刻输入信号包括：所述卷积神经网络提取的样本特征数据以及上一时刻递归神经网络分类器的输出数据；

(2)使用训练样本集来训练所述卷积神经网络和递归神经网络分类器模型；

(3)由滑动采样框对待识别图像文字序列进行滑动采样，并将采样结果输入训练好的所述卷积神经网络中，由所述卷积神经网络提取待识别图片的特征数据，输入到所述递归神经网络分类器中，经过所述递归神经网络分类器的依次迭代，输出待识别图像文字序列的完整识别结果。

具体的，本发明系统中所使用的递归神经网络分类器向前算法的计算公式如下：