[发明专利]一种表格识别方法及装置

权利要求书

1.一种表格识别方法，其特征在于，所述方法包括：

获取包括表格的待处理图像，并确定所述待处理图像中各个单元格的信息，所述各个单元格的信息，包括所述各个单元格的包围框的位置；

根据所述各个单元格的信息，得到所述各个单元格在行方向上的父单元格和所述各个单元格在列方向的父单元格；

根据所述各个单元格在行方向上的父子关系和所述各个单元格在列方向上的父子关系，得到所述各个单元格的结构坐标，其中，所述结构坐标包括：起始行、起始列、终止行和终止列；

所述根据所述各个单元格的信息，得到所述各个单元格在行方向上的父单元格和所述各个单元格在列方向的父单元格，包括：

将所述各个单元格的信息输入机器学习模型，得到所述各个单元格在行方向上的父单元格和所述各个单元格在列方向的父单元格；

所述机器学习模型包括：

特征提取模块、第一决策模块和第二决策模块；

所述特征提取模块，用于对所述各个单元格的信息进行处理，得到特征序列；

所述第一决策模块用于根据所述特征序列，得到所述各个单元格在行方向上的父单元格；

所述第二决策模块用于根据所述特征序列，得到所述各个单元格在列方向上的父单元格；

所述根据所述各个单元格在行方向上的父子关系和所述各个单元格在列方向上的父子关系，得到所述各个单元格的结构坐标，包括：

根据所述各个单元格在行方向上的父子关系，确定所述各个单元格的起始行和终止行；根据所述各个单元格在列方向上的父子关系，确定所述各个单元格的起始列和终止列；其中：

所述各个单元格在行方向上的父子关系和在列方向上的父子关系通过至少一棵树结构指示，一个单元格对应树上的一个节点。

2.根据权利要求1所述的方法，其特征在于，所述各个单元格的信息，还包括：

所述各个单元格内的文本的词嵌入向量，和/或，所述各个单元格的视觉特征。

3.根据权利要求1所述的方法，其特征在于，所述特征提取模块为Transformer模型的编码器。

4.根据权利要求1所述的方法，其特征在于，所述第一决策模块和第二决策模块均为自注意力self-attention模块。

5.根据权利要求1所述的方法，其特征在于，所述根据所述各个单元格在行方向上的父子关系，确定所述各个单元格的起始行和终止行，包括：

确定单元格i对应的起始行坐标b_i；确定单元格i所跨越的行数r_i；

根据所述b_i和所述r_i，确定单元格i对应的终止行坐标为b_i+r_i-1；其中：

若单元格i在其所在的树中对应的节点没有子分支，则所述r_i为1；否则，单元格i对应行数为其各个子分支的对应行数之和；

若单元格i对应表头节点，则起始行b_i等于单元格i所在的树的前一棵树的终止行加1；

若该单元格i对应节点q的第k个子节点，则起始行b_i等于b_q+sum1，其中，b_q为节点q的起始行，sum1为节点q的(k-1)个子分支的总跨越行数之和。

6.根据权利要求1所述的方法，其特征在于，所述根据所述各个单元格在列方向上的父子关系，确定所述各个单元格的起始列和终止列，包括：

确定单元格i所跨越的列数s_i；确定单元格i对应的起始列坐标a_i；

根据所述s_i和a_i，确定单元格i对应的终止列坐标为a_i+s_i-1；其中：

若单元格i在其所在的树中对应的节点没有子分支，则所述s_i为1；否则，单元格i对应列数为其各个子分支的对应列数之和；

若该单元格i对应表头节点，则起始列a_i等于单元格i所在的树的前一棵树的表头节点的终止列加1；

若该单元格i对应节点p的第j个子节点，则起始列a_i等于a_p+sum2，其中，a_p为节点p的起始列，sum2为节点p的(j-1)个子分支的总跨越列数之和。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据所述各个单元格的结构坐标以及所述各个单元格内的文本，生成目标表格。