[发明专利]一种基于端对端网络模型的手写公式识别方法

权利要求书

1.一种基于端对端网络模型的手写公式识别方法，其特征在于，包括以下步骤：

S1)采集手写公式识别图片数据集，对所述手写公式识别图片数据集进行预处理；所述手写公式识别图片数据集包括原始数据集以及与所述原始数据集相对应的标签集；

S2)建立encoder-decoder模型，所述encoder-decoder模型包括encoder编码器和decoder解码器；所述encoder编码器，用于提取手写公式识别图片的主要特征和小特征、并对主要特征和小特征进行编码，从而提取手写公式识别图片中每个字符对应的输入词向量；所述decoder解码器，通过注意力机制对特征向量进行注意力概率权重计算、并获得手写公式识别图片的识别结果；

S3)利用预处理后的手写公式识别图片数据集对所述encoder-decoder模型进行训练，获得训练完成后的encoder-decoder模型；

S4)利用训练完成后的encoder-decoder模型对待识别手写公式图片进行识别，获得待识别手写公式图片的识别结果；

步骤S3)中，利用预处理后的手写公式识别图片数据集对所述encoder-decoder模型进行训练，包括步骤：

S31)利用特征提取层提取手写公式识别图片的主要特征和小特征；获得主要特征图和小特征图，对主要特征图的元素和小特征图中的元素进行拼接、并进行word embedding操作，获得手写公式识别图片中每个字符对应的输入词向量；获得由手写公式识别图片中所有字符的输入词向量构成的输入词向量矩阵；

S32)decoder解码器包括解码器输入层、BiGRU层和maxout输出层；将输入词向量矩阵作为解码器输入层、并输入至BiGRU层，计算BiGRU层输出的词向量；计算BiGRU层输出的词向量具体过程如下：

其中表示t时刻正向GRU输出的隐藏状态，为t时刻反向输出的隐藏状态，h_t表示t时刻BiGRU输出的隐藏状态，ω_t、υ_t分别为t时刻正向GRU输出的隐藏状态和上一时刻反向输出的隐藏状态的权值矩阵，为上一时刻正向输出的隐藏状态，b_t为偏置，x_tj表示与第j个字符对应的输入词向量；h_tj为BiGRU层与第j个字符对应的输出词向量；

S33)引入coverage机制、计算每个输入词向量应分配的注意力概率权重，BiGRU输出与第j个字符相对应的隐藏状态时第i个字符的输入词向量注意力概率权重L为字符总数；中间过程向量β^T为注意力概率权值矩阵，h_t-1为上一时刻BiGRU输出的隐藏状态，w₁、w₂分别为上一时刻BiGRU输出的隐藏状态的权值矩阵、中间特性向量权值矩阵；中间特征权值向量v^T表示中间特征权值向量的权值矩阵；w_h表示与第i个字符对应的BiGRU输出的隐藏状态h_i的权重系数；b_w表示偏置项；x_ti表示与第j个字符对应的输入词向量；为上下文向量，初始化时将上下文向量设为0；

S34)获得当前时刻由attention机制分配的不同注意力概率权重与所述BiGRU层中各个字符对应的中间特征权值向量的乘积的累加和

S35)将由attention机制分配的不同注意力概率权重与BiGRU层各个字符对应的中间特征权值向量的乘积的累加和c_t作为BiGRU层的当前输入，根据上一次BiGRU输出的隐藏状态h_t-1重新更新计算BiGRU输出的隐藏状态h_t＝GRU(h_t-1,c_t),在maxout输出层采用maxout函数获得手写公式识别预测概率分布结果其中w₃、w₄分别为待训练的上下文向量权重系数矩阵和待训练的隐藏状态权重系数矩阵。