[发明专利]公式识别方法、装置、存储介质及电子设备

权利要求书

1.一种公式识别方法，其特征在于，包括：

获取包括待识别公式的目标图像；

对所述目标图像进行结点检测，得到所述目标图像包括的各个目标结点的类型以及位置信息，所述目标结点的类型包括运算数结点以及运算符结点；

根据所述各个目标结点的类型以及位置信息，确定各个目标结点之间的链接关系，所述链接关系包括结点之间是否存在连接关系，以及存在连接关系的两个结点的连接边的类型；

根据所述各个目标结点之间的链接关系，构建目标树结构；

基于所述目标树结构以及树结构描述信息，确定所述待识别公式对应的内容。

2.根据权利要求1所述的公式识别方法，其特征在于，所述根据所述各个目标结点的类型以及位置信息，确定各个目标结点之间的链接关系，包括：

对所述各个目标结点的类型进行特征提取，得到各个目标结点对应的第一嵌套向量，以及对所述各个目标结点的位置信息进行特征提取，得到各个目标结点对应的第二嵌套向量；

基于所述各个目标结点的类型，确定由所述各个目标结点组成的目标图结构；

基于所述各个目标结点对应的第一嵌套向量、所述各个目标结点对应的第二嵌套向量以及所述目标图结构，得到各个目标结点对应的第三嵌套向量；

基于所述各个目标结点对应的第三嵌套向量，得到存在连接关系的各个结点对；

利用预先训练的边分类模型，对所述各个结点对的边进行分类，得到存在连接关系的两个结点的连接边的类型。

3.根据权利要求2所述的公式识别方法，其特征在于，所述对所述各个目标结点的类型进行特征提取，得到各个目标结点对应的第一嵌套向量，包括：

对所述各个目标结点的类型进行独热编码，得到所述各个目标结点对应的独热向量；

将所述各个目标结点对应的独热向量输入预先训练的全连接网络，得到所述各个目标结点对应的第一嵌套向量。

4.根据权利要求2所述的公式识别方法，其特征在于，所述对所述各个目标结点的位置信息进行特征提取，得到各个目标结点对应的第二嵌套向量，包括：

对所述各个目标结点的位置信息进行归一化处理，得到所述各个目标结点的对应的归一化位置信息；

利用余弦嵌套公式对所述各个目标结点的对应的归一化位置信息进行处理，得到所述各个目标结点的对应的第二嵌套向量。

5.根据权利要求2所述的公式识别方法，其特征在于，所述基于所述各个目标结点的类型，确定由所述各个目标结点组成的目标图结构，包括：

利用KNN算法对所述各个目标结点的类型进行处理，得到目标邻接矩阵，所述目标邻接矩阵表征由所述各个目标结点组成的目标图结构。

6.根据权利要求5所述的公式识别方法，其特征在于，所述方法还包括：

利用所述目标邻接矩阵的转置矩阵对所述目标邻接矩阵进行处理，得到对称邻接矩阵；

所述基于所述各个目标结点对应的第一嵌套向量、所述各个目标结点对应的第二嵌套向量以及所述目标图结构，得到各个目标结点对应的第三嵌套向量，包括：

利用预先训练的图卷积神经网络模型对所述各个目标结点对应的第一嵌套向量、所述各个目标结点对应的第二嵌套向量以及所述对称邻接矩阵进行处理，得到各个目标结点对应的第三嵌套向量。

7.根据权利要求1所述的公式识别方法，其特征在于，所述根据所述各个目标结点之间的链接关系，构建目标树结构，包括：

根据所述各个目标结点之间的链接关系，确定存在连接关系的两个结点之间的层级关系；

根据存在连接关系的两个结点之间的层级关系以及连接边的类型，构建所述目标树结构。