[发明专利]一种自然场景图像中中文文本整体识别方法

摘要

本发明公开了一种自然场景图像中中文文本整体识别方法，首先获取训练样本集，对深度卷积网络、编码用多层双向递归网络、解码用多层双向递归网络以及CTC模型依次连接构成的神经网络进行训练；将测试样本输入到训练后的深度卷积网络中，获取到测试样本的各特征序列帧；然后将测试样本的各特征序列帧输入到训练后的编码用多层双向递归网络中，得到测试样本的各编码序列帧；再将测试样本的各编码序列帧输入至训练后的解码用多层双向递归网络中，得到测试样本各帧图像中每个常用汉字为该帧图像中汉字的概率结果；最后进行集束搜索处理，最终识别出测试样本中整体中文文本。本发明方法提高了自然场景图像中中文文本整体识别的准确率。

主权项

1.一种自然场景图像中中文文本整体识别方法，其特征在于，步骤如下：步骤S1、获取多幅包括汉字的自然场景图像样本，构成训练样本集，其中训练样本集中包括了常用汉字字符集中的所有常用汉字；并且为每个常用汉字设置一个标签；同时获取由深度卷积网络、编码用多层双向递归网络、解码用多层双向递归网络以及CTC模型依次连接构成的神经网络，其中该神经网络的输入即为深度卷积网络的输入，该神经网络的输出即为CTC模型的输出；步骤S2、神经网络训练：将训练样本集中的每个训练样本作为神经网络的输入，将每个训练样本中各汉字的标签作为神经网络的输出，针对神经网络进行训练得到训练后的神经网络，从而得到训练后的深度卷积网络、训练后的编码用多层双向递归网络和训练后的解码用多层双向递归网络；步骤S3、当获取到测试样本时，首先将测试样本输入到训练后的深度卷积网络中，通过训练后的深度卷积网络获取到测试样本的各特征序列帧；步骤S4、将训练后深度卷积神经网络输出的测试样本的各特征序列帧输入到训练后的编码用多层双向递归网络中，通过训练后的编码用多层双向递归网络得到测试样本的各编码序列帧；步骤S5、将测试样本的各编码序列帧输入至训练后的解码用多层双向递归网络中，通过训练后的解码用多层双向递归网络得到测试样本各帧图像中每个常用汉字的概率结果；步骤S6、针对于步骤S5获取到的测试样本各帧图像中每个常用汉字对为该帧图像汉字的概率结果进行集束搜索处理，通过集束搜索结果最终识别出测试样本中整体中文文本。