[发明专利]题目数字化处理方法和可读存储介质

权利要求书

1.一种题目数字化处理方法，其特征在于，包括：

采集题目图片；

将所述题目图片进行文本行检测，并对文本行检测结果进行文本识别，得到文本行；

将所述题目图片进行公式符号检测，并对公式符号检测结果进行处理，得到公式块；

将所述文本行、所述公式块进行图文图表识别；

将所述文本行、所述公式块以及图文图表识别结果按照行关系排序并输出，得到题目数字化结果。

2.根据权利要求1所述的题目数字化处理方法，其特征在于，所述将所述文本行、所述公式块进行图文图表识别的步骤，具体包括：

将所述文本行、所述公式块对应的图片区域进行空白化处理；

所述空白化处理完成后，获取所述图片区域的连通域，并确定所述连通域对应的矩形框；

基于所述矩形框的尺寸大于预设尺寸，且所述矩形框的坐标符合预设要求，则认定所述矩形框为图文图表。

3.根据权利要求2所述的题目数字化处理方法，其特征在于，所述将所述文本行、所述公式块，以及图文图表识别结果按照行关系排序的步骤，具体包括：

分别确定所述文本行、所述公式块，以及图文图表识别结果对应的矩形框的中心点坐标和横坐标；

将所述文本行、所述公式块，以及图文图表识别结果按照所述矩形框的中心点坐标进行升序排序，得到行结果；

将所述行结果按照所述矩形框的横坐标进行升序排序。

4.根据权利要求3所述的题目数字化处理方法，其特征在于，所述空白化处理的步骤，具体包括：

将所述文本行、所述公式块对应的图片区域的像素值置为255。

5.根据权利要求3所述的题目数字化处理方法，其特征在于，获取所述图片区域的连通域的步骤，具体包括：

对所述图片区域按序进行灰度化、二值化，以及膨胀化处理；

获取连通的区域，以及所述连通的区域的外轮廓，得到所述连通域。

6.根据权利要求1至5中任一项所述的题目数字化处理方法，其特征在于，所述将所述题目图片进行文本行检测的步骤，具体包括：

构建文本行检测模型；

获取第一组互联网题目图片，对所述第一组互联网题目图片中的文本行的坐标进行标注；

将标注好的数据划分为训练集与验证集；

根据所述训练集对所述文本行检测模型进行训练，并采用所述验证集对训练结果进行验证；

基于所述文本行检测模型的训练损失值小于第一预设阈值且收敛，得到训练好的文本行检测模型；

根据所述训练好的文本行检测模型对所述题目图片进行文本行检测。

7.根据权利要求6所述的题目数字化处理方法，其特征在于，所述将所述题目图片进行公式符号检测的步骤，具体包括：

构建公式符号检测模型；

获取第二组互联网题目图片，对所述第二组互联网题目图片中的公式符号的坐标及对应的类别进行标注；

将标注好的数据划分为训练集与验证集；

根据所述训练集对所述公式符号检测模型进行训练，并采用所述验证集对训练结果进行验证；

基于所述公式符号检测模型的训练损失值小于第二预设阈值且收敛，得到训练好的公式符号检测模型；

根据所述训练好的公式符号检测模型对所述题目图片进行公式符号检测。

8.根据权利要求7所述的题目数字化处理方法，其特征在于，

所述公式符号包括以下任一项或其组合：分数线、根号、大括号、小括号、绝对值符号、极限符号、求和符号、积分符号。

9.根据权利要求8所述的题目数字化处理方法，其特征在于，

所述文本行检测模型为CTPN场景文字检测模型；

所述公式符号检测模型包括以下任一项：FPN特征金字塔网络，SSD单镜头多盒检测器，Yolo模型，CenterNet模型，EfficientDet模型，Faster R-CNN模型。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至9中任一项所述的题目数字化处理方法。