[发明专利]一种基于图神经网络的表格结构识别方法

权利要求书

1.一种基于图神经网络的表格结构识别方法，其特征在于，该方法包括以下步骤：

(1)识别出输入图像中表格的位置，截取出表格区域；

(2)对表格区域识别文字blob块；

(3)对每个blob找到邻近的blob集合，从而建立blob图结构：对表格区域内的blob集合按照图像y坐标进行排序，排列成多行的blob集合，每行的blob集合按照x坐标排序；排序后，对每行中的blob，找到同一行中下一个相邻的blob、下一行中与其x轴上有重合的blob作为其邻近集合；

(4)对blob图建立对偶图结构，将图结点连接预测问题转变为图结点分类问题：原blob图的每一对相连的blob对应于对偶图中的一个图结点，如果原blob图中两个相连的blob对有一个相同的blob，则在对偶图中这两个blob对对应的图结点之间有一条边；

(5)训练图结点分类模型，列分类模型的训练过程如下：

训练数据：对表格的对偶图上的每一个结点，如果该结点的两个原图blob是同列的，则该结点的ground truth为1，否则为0；结点的输入特征为该结点的两个原图blob的特征；

训练模型：用gnn模型建立分类器，用于分类对偶图中每个结点的类别，即每个结点代表的两个原图blob之间是否同列；

模型预测：得到表格的对偶图及每个结点的特征，输入模型得到每个结点的分类结果，即原图中每两个blob之间的同列关系；

(6)对blob之间的关系进行整理，得到表格的单元格结构：

分别计算表格的列集合和行集合；

表格的单元格：将表格行集合按照图像的y坐标排序，列集合按照图像的x坐标排序，再将每行每列进行交叉，得到表格的单元格；

整理单元格中的blob：将每个单元格中的blob按行排列，并将每一行的blob合并为一个大blob，并将大blob的横坐标扩展到表格的单元格边界，再对这一个大blob进行字符识别，得到该单元格的文字内容。

2.根据权利要求1所述的一种基于图神经网络的表格结构识别方法，其特征在于，所述步骤(1)中，采用基于RCNN的神经网络建立表格检测器，识别出表格位置。

3.根据权利要求1所述的一种基于图神经网络的表格结构识别方法，其特征在于，所述步骤(2)中，基于ctpn、craft、tesseract工具进行识别表格区域的文字blob。

4.根据权利要求1所述的一种基于图神经网络的表格结构识别方法，其特征在于，所述步骤(5)的训练数据整理过程中，对表格的对偶图上的每一个结点，结点的输入特征为该结点的两个原图blob的特征，包括两个blob的图像坐标的相对值、两个blob之间的欧氏距离、x轴重合率、y轴重合率，将这些值的绝对值和相对值都作为特征。

5.根据权利要求1所述的一种基于图神经网络的表格结构识别方法，其特征在于，所述步骤(5)的训练数据整理过程中，将两个blob与相邻表格线之间的位置关系作为特征，具体地，将第1个blob的可能存在的4个方向上的表格线与第2个blob之间的距离和重合率作为特征。

6.根据权利要求1所述的一种基于图神经网络的表格结构识别方法，其特征在于，所述步骤(5)的训练数据整理过程中，对表格线进行处理，将表格线作为blob，在计算结点特征时作为邻接点，不计算由其产生的对偶结点的分类，即在计算模型损失时不将其产生的分类误差计入总误差。