[发明专利]一种基于深度学习的手写体数学表达式识别方法与装置

权利要求书

1.一种基于深度学习的手写体数学表达式识别方法，其特征在于，包括：

S1，对含有手写体数学表达式的图片进行预处理，并输入模型中；

S2，采用DenseNet网络作为编码器对输入模型的图片进行编码，并将所述DenseNet网络的输出作为编码向量；

S3，将所述编码向量作为输入，采用引入二维注意力机制的解码器对所述编码向量进行解码。

2.根据权利要求1所述的手写体数学表达式识别方法，其特征在于，所述步骤S3中，所述解码器为具有二维注意力机制的循环神经网络，其输入包括步骤S2输出的所述编码向量X_wh、解码器上一时刻输出的LaTex字符C以及解码器上一时刻的隐层H，其中，w为编码向量的宽度，h为编码向量的高度。

3.根据权利要求1所述的手写体数学表达式识别方法，其特征在于，所述步骤S3包括：

S301，引入二维注意力机制，产生带有注意力机制的编码向量，其中，所述二维注意力机制的计算如下：

e_wh＝v^T{f₁[Emb(h_i-1，c_i-1)]×f₂[X_wh]} (1)

其中，e_wh表示二维注意力机制在宽为w，高为h的特征平面上每一特征点的关注度；Emb为Embedding操作，所述Embedding操作为一种将单一字符映射为一个维度固定的向量的操作，用于表示序列中不同字符之间的区别与联系；h_i-1为上一时刻的隐层H，c_i-1为上一时刻输出的LaTex字符C；f₁、f₂与v^T分别表示两个全连接层和一个随机初始化矩阵，用于将不同纬度的向量映射为一个固定维度的向量；X_wh即编码向量；α_wh为归一化后的权重参数；

通过式(2)进行归一化操作，获得二维注意力机制的权重，则该时间步下，编码向量将变为：

X_wh′＝α_wh×X_wh (3)

其中，X’_wh为带有注意力机制的编码向量；

S302，将该带有注意力机制的编码向量输入解码器，同时通过上一时刻的输出字符及隐层向量，得到解码输出；其中，所述解码器将对带有注意力机制的编码向量解码时，解码操作为：

output_i＝soft max{D[f₃(h_i-1)+f₄(c_i-1)+f₅(X′_hw)]} (4)

其中，输出output_i即为该时间步下模型预测的字符输出；softmax表示非线性激活函数，用于将模型的计算输出归一化为所有输出字符的概率系数，其中，概率系数最大的字符即为模型本步识别的预测输出字符；D为Dropout层；f₃、f₄、f₅均表示全连接层。

4.根据权利要求2或3所述的手写体数学表达式识别方法，其特征在于，所述步骤S3中，规定所述上一时刻输出的LaTex字符C的初始值为＜sos＞，即为序列的开始符号；规定所述上一时刻的隐层H的初始值为一个满足Xavier分布的随机初始化向量。

5.根据权利要求1所述的手写体数学表达式识别方法，其特征在于，所述步骤S1中，所述预处理操作为对图片随机进行预定角度范围的旋转。

6.根据权利要求5所述的手写体数学表达式识别方法，其特征在于，所述预定角度范围为[-10°，-5°]或[5°，10°]。