[发明专利]一种文本识别的方法、装置、电子设备和存储介质

权利要求书

1.一种文本识别的方法，其特征在于，包括：

获取目标文本图像；

将所述目标文本图像并行输入题号检测网络模型、公式检测网络模型以及文本行检测网络模型，分别输出题号框、公式框和文本行轮廓；

利用所述题号框对所述公式框进行过滤，利用所述文本行轮廓过滤所述题号框，将过滤后的公式框插入文本行轮廓中，得到文本位置信息；

对所述插入公式框的文本行轮廓进行矫正，得到矫正后的文本行轮廓；

将所述矫正后的文本行轮廓中的文本送入中英文识别模型进行识别，将所述公式框中的公式送入公式识别模型，分别得到文字识别结果和公式识别结果；

保存所述文本位置信息、公式识别结果和文字识别结果。

2.根据权利要求1所述的方法，其特征在于，将所述目标文本图像并行输入题号检测网络模型、公式检测网络模型以及文本行检测网络模型，分别输出题号框、公式框和文本行轮廓，包括：

将所述目标文本图像并行输入YOLO题号检测网络模型、YOLO公式检测网络模型以及PseNet文本行检测网络模型，分别得到题号框、公式框和文本行轮廓。

3.根据权利要求1所述的方法，其特征在于，利用所述题号框对所述公式框进行过滤，包括：

计算任意一题号框与公式框的IOU；

在题号框和公式框的IOU大于第一预设阈值，则删除所述IOU大于第一预设阈值对应的公式框。

4.根据权利要求1所述的方法，其特征在于，利用所述文本行轮廓过滤所述题号框，包括：

计算所述题号框与任意文本行轮廓的交集面积；

在所述交集面积占所述题号框总面积的比例大于第二预设值时，删除所述题号框。

5.根据权利要求1所述的方法，其特征在于，将过滤后的公式框插入文本行轮廓中，包括：

检测过滤后的公式框与文本行中心线的交集；

在所述公式框与所有文本行中心线均无交集时，保留所述公式框；

在所述公式框与其中一个文本行中心线存在交集时，将所述公式框插入存在交集的文本行轮廓中；

在所述公式框与多个文本行中心线存在交集时，确定公式框与所述多个文本行中心线的交集像素点数量，将所述公式框插入该多个文本行中心线中交集像素点数量最大的文本行轮廓中。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述对所述插入公式框的文本行轮廓进行矫正，得到矫正后的文本行轮廓，包括：

将所述插入公式框的文本行轮廓输入TPS矫正网络进行矫正，得到矫正后的文本行轮廓。

7.一种文本识别的装置，其特征在于，所述装置包括：

获取单元，用于获取目标文本图像；

第一识别单元，用于将所述目标文本图像并行输入题号检测网络模型、公式检测网络模型以及文本行检测网络模型，分别输出题号框、公式框和文本行轮廓；

融合单元，用于利用所述题号框对所述公式框进行过滤，利用所述文本行轮廓过滤所述题号框，将过滤后的公式框插入文本行轮廓中，得到文本位置信息；

矫正单元，用于对所述插入公式框的文本行轮廓进行矫正，得到矫正后的文本行轮廓；

第二识别单元，用于将所述矫正后的文本行轮廓中的文本送入中英文识别模型进行识别，将所述公式框中的公式送入公式识别模型，分别得到文字识别结果和公式识别结果；

保存单元，用于保存所述文本位置信息、公式识别结果和文字识别结果。

8.根据权利要求7所述的装置，其特征在于，所述第一识别单元，包括：

将所述目标文本图像并行输入YOLO题号检测网络模型、YOLO公式检测网络模型以及PseNet文本行检测网络模型，分别得到题号框、公式框和文本行轮廓。

9.根据权利要求7所述的装置，其特征在于，所述融合单元，包括：

第一计算子单元，用于计算任意一题号框与公式框的IOU；

第一删除子单元，用于在题号框和公式框的IOU大于第一预设阈值，则删除所述IOU大于第一预设阈值对应的公式框。