[发明专利]公式识别方法、电子设备及计算机可读介质

权利要求书

1.一种公式识别方法，其特征在于，所述方法包括：

对包含公式的图片进行预处理，得到预处理后的图片；

对所述预处理后的图片中进行公式符号检测，得到所述公式包含的公式符号的类别信息以及位置信息；

基于所述公式符号的类别信息以及位置信息，构造混合特征向量；

基于所述混合特征向量，进行所述公式符号的识别和转换，获得所述图片中包含的所述公式对应的字符串。

2.根据权利要求1所述的方法，其特征在于，所述基于所述公式符号的类别信息以及位置信息，构造混合特征向量，包括：

对所述公式符号的类别信息进行矢量化，得到类别向量；

将所述类别向量与所述公式符号的位置信息进行拼接，得到混合特征向量。

3.根据权利要求1所述的方法，其特征在于，所述对包含公式的图片进行预处理，得到预处理后的图片，包括：

对包含公式的图片进行二值化处理，获得二值化图片；

从所述二值化图片中，确定所述公式所在的图片区域；

根据从所述二值化图片中切割出的所述图片区域，得到所述预处理后的图片。

4.根据权利要求3所述的方法，其特征在于，所述从所述二值化图片中，确定所述公式所在的图片区域，包括：

从所述二值化图片中获取像素值为1的多个坐标点；

根据所述多个坐标点确定所述二值化图片的切割范围，作为所述公式所在的图片区域。

5.根据权利要求3所述的方法，其特征在于，所述根据从所述二值化图片中切割出的所述图片区域，得到所述预处理后的图片，包括：

将所述二值化图片中切割出的所述图片区域，按照预设比例缩放后，进行补边处理，得到预处理后的图片。

6.根据权利要求4所述的方法，其特征在于，所述根据所述多个坐标点确定所述图片的切割范围，作为所述公式所在的图片区域，包括：

根据所述多个坐标点中的最大横坐标，最小横坐标，最大纵坐标，最小纵坐标，得到所述公式的外接四边形的顶点坐标；

根据所述顶点坐标确定切割范围，对所述二值化图片进行切割。

7.根据权利要求1所述的方法，其特征在于，所述对所述预处理后的图片中进行公式符号检测，得到所述公式包含的公式符号的类别信息以及位置信息，包括：

将所述预处理后的图片输入用于进行公式符号检测的第一神经网络模型，得到所述公式包含的公式符号的类别信息以及位置信息。

8.根据权利要求7所述的方法，其特征在于，所述将所述预处理后的图片输入用于进行公式符号检测的第一神经网络模型，得到所述公式包含的公式符号的类别信息以及位置信息，包括：

将所述预处理后的图片输入用于进行公式符号检测的第一神经网络模型，通过所述第一神经网络模型对所述预处理后的图片进行多尺度特征提取和符号检测，得到所述公式包含的公式符号的类别信息以及位置信息。

9.根据权利要求8所述的方法，其特征在于，所述第一神经网络模型为基于Yolo结构的神经网络模型；

所述通过所述第一神经网络模型对所述预处理后的图片进行多尺度特征提取和符号检测，得到所述公式包含的公式符号的类别信息以及位置信息，包括：

通过所述基于Yolo结构的神经网络模型进行至少四个尺度的特征提取，获得对应的至少四个尺度的特征映射图，其中，所述至少四个尺度的特征提取中包括低尺度特征提取；

基于所述至少四个尺度的特征映射图，进行符号识别和符号框检测，对应得到所述公式包含的公式符号的类别信息以及位置信息。

10.根据权利要求9所述的方法，其特征在于，所述神经网络模型中设置有12个不同比例尺度的锚框，所述锚框中包括针对设定符号进行检测的锚框。