[发明专利]公式识别方法、装置、设备及存储介质

权利要求书

1.一种公式识别方法，其特征在于，所述方法包括：

获取公式图像；

采用预设分割网络对所述公式图像进行分割，获取所述公式图像中所包含的至少一个字符区域；其中，所述预设分割网络通过采用样本公式图像集合对Unet网络进行训练所获取，所述样本公式图像集合包括：样本公式图像、以及所述样本公式图像对应的蒙版；

对所述至少一个字符区域进行识别，获取各所述字符区域中的字符；

根据各所述字符区域中的字符，生成所述公式图像对应的拉泰赫latex格式的公式文本。

2.根据权利要求1所述的方法，其特征在于，所述获取公式图像，包括：

获取包含有公式的图像信息；

采用预设的高校场景文本检测网络对所述图像信息中的公式区域进行定位，得到所述公式图像。

3.根据权利要求1所述的方法，其特征在于，所述采用预设分割网络对所述公式图像进行分割，获取所述公式图像中所包含的至少一个字符区域之前，所述方法还包括：

获取随机生成的样本公式图像、以及所述样本公式图像对应的蒙版，得到所述样本公式图像集合；

根据所述样本公式图像集合对Unet网络进行训练，得到所述预设分割网络。

4.根据权利要求1所述的方法，其特征在于，所述对所述至少一个字符区域进行识别，获取各所述字符区域中的字符之前，所述方法还包括：

获取样本字符图像集合，所述样本字符图像集合包括：样本字符图像、以及所述样本字符图像对应的字符标签，所述字符标签用于指示对应的所述样本字符图像中的字符；

根据所述样本字符图像集合，对卷积神经网络进行训练，得到预设识别网络；

所述对所述至少一个字符区域进行识别，获取各所述字符区域中的字符，包括：

对于任一个所述字符区域：

采用所述预设识别网络对所述字符区域进行识别，获取所述字符区域中的字符。

5.根据权利要求2所述的方法，其特征在于，所述采用预设分割网络对所述公式图像进行分割，包括：

创建一张和所述图像信息大小相同的白色图像；

根据所述高校场景文本检测网络输出的像素点坐标标记所述白色图像，得到标记后的白色图像；

采用预设分割网络，并根据标记后的白色图像，对所述公式图像进行分割。

6.根据权利要求1所述的方法，其特征在于，所述根据各所述字符区域中的字符，生成所述公式图像对应的拉泰赫latex格式的公式文本，包括：

根据各所述字符区域中的字符，构建公式语法树；

根据所述公式语法树生成所述公式图像对应的拉泰赫latex格式的公式文本。

7.一种公式识别装置，其特征在于，所述装置包括：

获取模块，用于获取公式图像；

分割模块，用于采用预设分割网络对所述公式图像进行分割，获取所述公式图像中所包含的至少一个字符区域；其中，所述预设分割网络通过采用样本公式图像集合对Unet网络进行训练所获取，所述样本公式图像集合包括：样本公式图像、以及所述样本公式图像对应的蒙版；

识别模块，用于对所述至少一个字符区域进行识别，获取各所述字符区域中的字符；

生成模块，用于根据各所述字符区域中的字符，生成所述公式图像对应的拉泰赫latex格式的公式文本。

8.根据权利要求7所述的装置，其特征在于，所述获取模块，包括：

获取子模块，用于获取包含有公式的图像信息；

定位子模块，用于采用预设的高校场景文本检测网络对所述图像信息中的公式区域进行定位，得到所述公式图像。

9.一种公式识别设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当所述公式识别设备运行时，所述处理器与所述存储介质之间通过所述总线通信，所述处理器执行所述机器可读指令，以执行如权利要求1-6任一项所述的方法。

10.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1-6任一项所述的方法。