[发明专利]一种基于深度学习的手写体数学表达式识别方法与装置

说明书

本公开提供了一种基于深度学习的手写体数学表达式识别方法，包括：S1，对含有手写体数学表达式的图片进行预处理，并输入模型中；S2，采用DenseNet网络作为编码器对输入模型的图片进行编码，并将所述DenseNet网络的输出作为编码向量；S3，将所述编码向量作为输入，采用引入二维注意力机制的解码器对所述编码向量进行解码。通过采用新的二维注意力计算方式，使得模型能够很好的解析数学表达式中所存在的二维结构；同时采用更高效的网络DenseNet来作为编码器产生编码向量，相比于其他方法可以更好的提取图片特征。

技术领域

本公开涉及光学字符识别领域，尤其涉及一种基于深度学习的手写体数学表达式识别方法与装置。

背景技术

数学表达式是人们从自然界中总结出来的一种规律，并通过数学的形式来表达出来的一种或等或不等的关系，其反映了自然界中事物与事物之间的联系，使得人们可以更好地理解事物的本质与内涵。

数学表达式目前被广泛的应用在科研、金融、统计等社会各行各业之中，并与人们的日常生活息息相关。每一个人都会在日常的学习工作中通过各种途径来接触到大量的数学表达式，这些途径可能包括报纸、文档、笔记等。而随着计算机及互联网与各行各业的结合越来越紧密，人们在一些情况下不可避免的需要将这些数学表达式输入计算机来做进一步的处理。因此就需要计算机去自动的识别这些数学表达式，进而转换成可以进行计算的形式。

作为光学字符识别的一种，科研人员在数学表达式识别方面已经取得了部分成果，但是相比于传统的文字字符识别，数学表达式的识别还存在一定的困难。这些困难主要包括：1)数学表达式是一种具有二维结构的序列，即不同的字符在不同的位置所代表的意义有时有很大的区别。例如：2^x与2x。所以，正确的解析数学表达式中所存在的二维结构是正确识别该数学表达式的前提。2)数学表达式中所涵盖字符的类别及范围非常广，一个数学表达式中可能同时含有希腊字符、罗马数字、英文字母、运算符号等。3)数学表达式中还存在一些容易产生歧义的字符，这个问题在手写体数学表达式中尤其严重。例如英文字母‘O’与罗马数字‘0’。

数学表达式的识别从识别对象上来说可分为两类，分别是印刷体数学表达式识别和手写体数学表达式识别。对于印刷体数学表达式来说，因其表达式的结构工整、字迹清晰、空间位置明确而便于识别。但对于手写体数学表达式来说，识别过程会因书写者书写习惯的不同而产生字迹模糊，空间位置不明确等一系列问题。因此，手写体数学表达式识别无论从识别的精度，还是从识别的范围上来说都还有着较大的发展空间。而在当今社会，得益于便携式电子设备的快速发展，人们录入信息的方式正在从以往的鼠标键盘变成触摸屏和手写笔。所以，未来手写体数据将会越来越多的出现在日常生活之中，故目前迫切需要一种能够自动对手写体数学表达式进行识别的方法。

发明内容

(一)要解决的技术问题

本公开提供了一种基于深度学习的手写体数学表达式识别方法与装置，以至少部分解决以上所提出的技术问题。

(二)技术方案

根据本公开的一个方面，提供了一种基于深度学习的手写体数学表达式识别方法，包括：

S1，对含有手写体数学表达式的图片进行预处理，并输入模型中；

S2，采用DenseNet网络作为编码器对输入模型的图片进行编码，并将所述DenseNet网络的输出作为编码向量；

S3，将所述编码向量作为输入，采用引入二维注意力机制的解码器对所述编码向量进行解码。

在一些实施例中，所述步骤S3中，所述解码器为具有二维注意力机制的循环神经网络，其输入包括三部分，分别为步骤S2输出的所述编码向量X_wh、解码器上一时刻输出的LaTex字符C以及解码器上一时刻的隐层H，其中，w为编码向量的宽度，h为编码向量的高度。