[发明专利]一种数学公式字符识别方法、装置和电子设备

权利要求书

1.一种数学公式字符识别方法，其特征在于，包括：

获取非常规汉字，并利用非常规汉字分别对根式、分式、以及循环小数中的字符进行编码，分别得到作为特殊字符编码规则的根式中的LaTeX字符与非常规汉字的对应关系、分式中的LaTeX字符与非常规汉字的对应关系、以及循环小数中的LaTeX字符与非常规汉字的对应关系；

获取LaTeX常见符号对照表，其中，所述LaTeX常见符号对照表中记录有常见符号与字符串的对应关系；

利用所述LaTeX常见符号对照表和所述特殊字符编码规则对CRNN进行训练，得到训练后的CRNN；

获取待识别的作业图片，对所述作业图片进行文本行检测，得到所述作业图片中的文本框的坐标信息；

利用所述文本框的坐标信息，从所述作业图片中截取文本行图像；其中，所述文本行图像，是汉字、字母、公式及特殊字符混合在一起的图像；

将截取的文本行图像输入到训练后的通用文字识别模型CRNN中，对所述文本行图像中的字符进行识别，得到所述CRNN识别出的第一识别结果；其中，所述第一识别结果，包括：常规字符和/或者非常规字符；第一识别结果中包括的常规字符和/或者非常规字符，是用来对文本行中是字符为主的文本行还是公式为主的文本行进行判定用的；

当所述第一识别结果中的常规字符的数量大于等于字符数量阈值时，确定所述文本行是以字符为主的文本行，获取所述第一识别结果的第一个字符；

当所述第一个字符是“√”时，利用根式中的LaTeX字符与非常规汉字的对应关系，将所述第一识别结果中的非常规字符映射为对应的LaTeX字符；

当所述第一个字符是“俧”时，利用分式中的LaTeX字符与非常规汉字的对应关系，将所述第一识别结果中的非常规字符映射为对应的LaTeX字符；

将得到的LaTeX字符与所述第一识别结果中的常规字符形成最终识别结果，并输出所述最终识别结果；

当所述第一识别结果中与数字字符相邻的字符是非常规字符时，利用循环小数中的LaTeX字符与非常规汉字的对应关系，将所述第一识别结果中的非常规字符映射为对应的LaTeX字符；

将得到的LaTeX字符与所述第一识别结果中的常规字符形成最终识别结果，并输出所述最终识别结果；

当所述第一识别结果中的常规字符的数量小于字符数量阈值时，确定所述文本行是以公式为主的文本行，将所述文本行图像输入到公式识别模型WAP中，对所述文本行图像中的数学公式进行识别，得到所述WAP识别出的第二识别结果；其中，第二识别结果，包括公式LaTeX字符串，所述WAP中设置有复杂公式LaTeX字符串；

当所述第二识别结果中具有复杂公式LaTeX字符串时，将所述第二识别结果作为最终识别结果输出；

当所述第二识别结果中未具有复杂公式LaTeX字符串时，对所述第一识别结果和所述第二识别结果进行处理，得到最终识别结果并输出。

2.根据权利要求1所述的方法，其特征在于，还包括：

获取常规字符集合；

当所述第一识别结果中存在未在所述常规字符集合中遍历的字符时，从所述第一识别结果中获取未在所述常规字符集合中遍历过的字符；

将未在所述常规字符集合中遍历的字符作为查询条件，在所述常规字符集合中遍历与所述查询条件相同的字符；

当从所述常规字符集合中查询出作为查询条件的字符时，对常规字符的数量进行增量操作，更新所述常规字符的数量；

当所述第一识别结果中所有字符均在常规字符集合中遍历过后，对比常规字符的数量与所述字符数量阈值的大小。

3.根据权利要求1所述的方法，其特征在于，在所述将所述文本行图像输入到公式识别模型WAP中，对所述文本行图像中的数学公式进行识别，得到所述WAP识别出的第二识别结果步骤之后，还包括：

获取复杂公式LaTeX字符串，将所述第二识别结果的公式LaTeX字符串与所述复杂公式LaTeX字符串进行比对，得到比对结果；其中，所述复杂公式LaTeX字符串，包括：复杂分式、复杂根式、分式根式混合公式和多行方程组；

当所述比对结果指示所述第二识别结果包括复杂分式、复杂根式、分式根式混合公式和/或者多行方程组时，确定所述第二识别结果中具有复杂公式LaTeX字符串。