[发明专利]一种印刷体数学公式识别方法、装置及存储介质

说明书

本发明公开了一种印刷体数学公式识别方法、装置及存储介质，其中方法包括：获取印刷体数学公式图片并进行预处理；基于编码器提取印刷体数学公式图片的第一特征矩阵；提取第一特征矩阵的上下文语义特征，得到第二特征矩阵；使用相对位置编码技术对第二特征矩阵进行相对位置编码，得到第三特征矩阵；将第三特征矩阵输入解码器中，得到印刷体数学公式的Latex格式序列。第三特征矩阵是第一特征矩阵的基础上依次进行了上下文语义特征和元素间相对位置特征的再次提取，提取的特征更加能准确反映印刷体数学公式的特性，提高了最终印刷体数学公式识别的准确率。

技术领域

本发明涉及印刷体公式识别技术领域，尤其涉及一种印刷体数学公式识别方法、装置及存储介质。

背景技术

在科研教育领域，很多科研文献中的印刷体数学公式以图片的形式存在，而以图片形式存储的公式一方面不便于计算机的处理和编辑，另一方面存储图片所消耗的空间也会比较大。将印刷体公式图片转换为文本序列的Latex格式进行存储能很好的解决上述两个问题。

当下印刷体数学公式识别为Latex格式序列主要可分类两类。一类是将识别过程划分为字符分割、字符识别、结构分析的多阶段顺序识别方法。另一类则是基于机器学习的全局识别方法。基于多阶段顺序识别的方法，其最大的问题在于，上游任务中产生的错误可能会传播到下游任务并被下游任务捕获，导致错误在识别过程中的不断传递甚至放大，从而导致最后的识别效果出现偏差。而基于机器学习的全局识别方法，则消除了多阶段任务，避免了错误在识别过程中的积累。

现有的基于机器学习的方法主要采用深度学习中的编码器-解码器模型架构实现印刷体公式识别的过程，在该模型架构中编码器一般使用10层以内的卷积神经网络（CNN），解码器则采用循环神经网络（RNN）。但是印刷体数学公式图片包含着复杂的语义特征和结构特征，现有的技术无法准确的提取到公式图片中的语义特征和结构特征，对模型的识别准确率产生了一定的影响。

发明内容

本发明提供了一种印刷体数学公式识别方法、装置及存储介质，以解决现有的印刷体数学公式识别方法准确率不高的问题。

第一方面，提供了一种印刷体数学公式识别方法，包括：

获取印刷体数学公式图片并进行预处理；

基于编码器提取印刷体数学公式图片的第一特征矩阵；

提取第一特征矩阵的上下文语义特征，得到第二特征矩阵；

使用相对位置编码技术对第二特征矩阵进行位置编码，得到第三特征矩阵；

将第三特征矩阵输入解码器中，得到数学公式的Latex格式序列。

其中第三特征矩阵是第一特征矩阵的基础上依次进行了上下文语义特征提取和相对位置信息编码，提取的特征更加能准确反映数学公式的特性，提高了最终的印刷体数学公式识别的准确率。

进一步地，所述预处理过程包括：

裁剪出印刷体数学公式图片的公式核心区域图片。

用户上传的待识别的印刷体数学公式图片，往往包含许多无效的空白部分，而印刷体数学公式图片中真正包含数学公式的部分仅仅只占整个图片很小的一部分。所以通过截取印刷体数学公式图片中的公式核心区域，缩小待识别处理的图片的尺寸，能提高印刷体数学公式的识别效果，减少识别过程的时空开销。

进一步地，所述裁剪出印刷体数学公式图片的公式核心区域图片包括：

基于印刷体公式图片建立直角坐标系；

根据印刷体公式图片中像素点的灰度值确定公式核心区域的四个顶点坐标，基于四个顶点坐标裁剪出对应的公式核心区域图片。

更具体地，以印刷体公式图片的最左上角为原点，以水平方向为横轴，以竖直方向为纵轴，建立直接坐标系；