[发明专利]基于神经网络和注意力机制结合的文字识别系统及方法

权利要求书

1.一种基于神经网络和注意力机制结合的文字识别系统，其特征在于，包括：特征提取模块、编码和注意力模块及解码模块，其中，特征提取模块采用的是卷积神经网络和双向长短期记忆网络相结合的结构，所述卷积神经网络用于提取文字图像的空间特征；所述双向长短期记忆网络用于提取文字的序列特征；

编码和注意力模块，用于对双向长短期记忆网络编码阶段的隐藏状态h_i进行加权求和，获取不同时刻的注意力权值，然后通过注意力聚焦对当前时刻的输出作预测；

解码模块采用的是嵌套长短期记忆网络，解码部分是对编码生成的中间语义信息进行解析，解码需要利用注意力机制对编码的状态进行注意力聚焦，然后通过嵌套长短期记忆网络学习过去某时刻的解码信息，用于提取文本的序列信息，通过前一时刻的状态预测当前时刻的输出；

所述卷积神经网络模块包括卷积层1、池化层1、卷积组2、卷积层3、池化层2、卷积层4、池化层3、批量标准层、卷积层5、池化层4、批量标准层、Dropout层组成；

所述卷积神经网络详细参数设置如下：所述卷积层1的卷积核大小为5×5×64，步长为1，扩充边缘为1，池化层均采用均值方法，其参数设置一样，皆为：核大小3×3，步长为2，扩充边缘为0；所述卷积组2包括并行的卷积核为7×7卷积层A和卷积核为5×5卷积层B、以及层叠在并行的卷积层后的卷积核为1×1×C的卷积层C1，C表示卷积核个数，调节C的大小可以降低维度，使计算速度加快，计算成本降低；所述卷积层3，4，5均采用大小3×3的卷积核，卷积核个数为128，128，256，卷积核步长为1，扩充边缘为1；所述批量标准层是对每个小批量数据进行标准化，将数据通过计算均值和方差，然后归一化，然后平移缩放参数；所述Dropout层可以看作一个模型的随机求和然后平均，就是将隐藏单元随机丢失；

所述编码和注意力模块具体包括：语义编码C_i是注意力模型的关键点，将双向循环神经网络生成的1×1024的特征向量序列进行语义编码，其目的是对编码阶段的隐藏状态h_i进行加权求和，获取不同时刻的注意力权值，然后通过注意力聚焦对当前时刻的输出作预测，采用注意力机制取T的长度为20的向量的特征序列S进行特征聚焦，预测最后一个文字时，会将注意力集中在当前时刻的输入文本以及过去某一时刻的隐藏状态，注意力模型的权值会分布在不同时刻的隐藏状态，权值越大，注意力就越集中，注意力模型中[x₁,x₂,x₃,...x_T]表示当前时刻输入，A_t,i表示的是注意力的聚焦权值，C_t表示的是在t时刻对特征h_i的加权值；

所述A_t,i、C_t具体公式如下表示：

e_t,i＝f_att(s_t-1,h_i) (15)

s_t＝f(s_t-1,y_t-1,C_t) (16)

y_t＝g(y_t-1,s_t,C_t) (17)

f_att(s_t-1,h_i)是关联程度函数，表示解码的t-1时刻的状态与编码特征b的关联程度，y_t表示解码模块的预测输出，g(y_t-1,s_t,C_t)表示概率输出函数；

所述解码模块采用的是嵌套长短期记忆网络，用于对注意力聚焦后的特征向量进行识别，其中第t时刻的输入就是第t次特征聚焦后的特征向量，嵌套长短期记忆网络使用标准的长短期记忆网络门选择性地进行读取、编写，解码后某一时刻t的预测输出y_t由过去时刻预测输出y_t-1、解码器的隐藏状态s_t、注意力权值C_t共同决定，其记忆单元函数公式如下：

Ce_t＝IM_t(f_t☉Ce_t-1,i_t☉g_t) (18)

f_t表示前向传播的非线性函数表示，IM_t表示嵌套长短期记忆网络的内部记忆状态，Ce_t-1表示上一时刻t-1记忆单元的状态，g_t表示长短期记忆网络的门控函数；

最后，输出采用Softmax以概率的形式表示，然后选取概率值最大的作为预测结果，对于长短期记忆网络每个时刻t都有预测值，然后将值按照时刻顺序取结束符之前的字符组成字符串，就是所要的结果。