[发明专利]一种自然场景图像中中文文本整体识别方法

权利要求书

1.一种自然场景图像中中文文本整体识别方法，其特征在于，步骤如下：

步骤S1、获取多幅包括汉字的自然场景图像样本，构成训练样本集，其中训练样本集中包括了常用汉字字符集中的所有常用汉字；并且为每个常用汉字设置一个标签；

同时获取由深度卷积网络、编码用多层双向递归网络、解码用多层双向递归网络以及CTC模型依次连接构成的神经网络，其中该神经网络的输入即为深度卷积网络的输入，该神经网络的输出即为CTC模型的输出；

步骤S2、神经网络训练：将训练样本集中的每个训练样本作为神经网络的输入，将每个训练样本中各汉字的标签作为神经网络的输出，针对神经网络进行训练得到训练后的神经网络，从而得到训练后的深度卷积网络、训练后的编码用多层双向递归网络和训练后的解码用多层双向递归网络；

步骤S3、当获取到测试样本时，首先将测试样本输入到训练后的深度卷积网络中，通过训练后的深度卷积网络获取到测试样本的各特征序列帧；

步骤S4、将训练后深度卷积神经网络输出的测试样本的各特征序列帧输入到训练后的编码用多层双向递归网络中，通过训练后的编码用多层双向递归网络得到测试样本的各编码序列帧；

步骤S5、将测试样本的各编码序列帧输入至训练后的解码用多层双向递归网络中，通过训练后的解码用多层双向递归网络得到测试样本各帧图像中每个常用汉字的概率结果；

步骤S6、针对于步骤S5获取到的测试样本各帧图像中每个常用汉字为该帧图像汉字的概率结果进行集束搜索处理，通过集束搜索结果最终识别出测试样本中整体中文文本；

所述步骤S2和步骤S5中，解码用多层双向递归网络针对于输入的训练样本的各编码序列帧以及训练后的解码用多层双向递归网络针对于输入的测试样本的各编码序列帧的解码过程如下：

步骤S2-1、首先在当前时刻第t个时刻计算由上一个时刻第t-1个时刻需要解码的编码序列帧h_t-1、当前时刻第t个时刻需要解码的编码序列帧h_t以及下一个时刻第t+1个时刻需要解码的编码序列帧h_t+1所构成序列H＝{h_t-1,h_t,h_t+1}的注意力因子：

其中

e_t,j＝v^Ttanh(W₂s_t-1+Vh_j+b)，j＝t-1，t，t+1；

其中W₂,V,v和b均为可训练参数，v^T为v矩阵的转置；s_t-1为解码用多层双向递归网络中隐节点在上一时刻t-1的状态；S＝{h₀,h₁,...,h_t,...,h_T′-1}为编码序列帧的集合，集合中各元素即为各编码序列帧，T′为编码序列帧的集合中编码序列帧的总数，h₀、h₁、h_T′-1分别对应为在初始时刻即第0个时刻、第1个时刻、第T′-1个时刻需要解码的编码序列帧；

步骤S2-2、根据步骤S2-1当前时刻第t个时刻计算得到的序列H＝{h_t-1,h_t,h_t+1}的注意力因子计算在当前时刻第t个时刻序列H＝{h_t-1,h_t,h_t+1}的加权卷积

其中W₁为可训练参数；其中当t＝0时，h_t-1由相等维度的零向量进行补充；当t＝T′-1时，h_t+1由相等维度的零向量进行补充；是表示卷积运算；

步骤S2-3、根据步骤S2-2计算的当前时刻第t个时刻序列H＝{h_t-1,h_t,h_t+1}的加权卷积计算解码用多层双向递归网络中隐节点在当前时刻第t个时刻的状态s_t：

其中y_t-1为解码用多层双向递归网络在上一个时刻第t-1个时刻的输出；

步骤S2-4；根步骤S2-2计算的当前时刻第t个时刻序列H＝{h_t-1,h_t,h_t+1}的加权卷积以及步骤S2-3计算的解码用多层双向递归网络中隐节点在当前时刻第t个时刻的状态s_t计算得到当前时刻第t个时刻的解码输出结果：