[发明专利]一种基于图神经网络的表格结构识别方法

说明书

本发明公开了一种基于图神经网络的表格结构识别方法，该方法将pdf文档的每一页转为图像，对每一张输入的图像，识别出表格的位置，截取出表格区域；对表格区域识别文字blob块；对每个blob找到邻近的blob集合，从而建立blob图结构；对blob图建立对偶图结构，将图结点连接预测问题转变为图结点分类问题；训练图结点分类模型；对blob之间的关系整理，得到表格的单元格结构；本发明将图神经网络应用到表格结构识别中，将表格结构识别建模为图结点分类，并加入反馈调节网络及条件随机场，对图结点分类结果进行基于表格整体结构合理性的修正，提高了识别准确率。

技术领域

本发明涉及图像识别技术，尤其涉及一种基于图神经网络的表格结构识别方法。

背景技术

在大数据和人工智能的应用场景下，要对大量的信息进行搜集、处理、分析，对数据进行结构化，发现数据中的规律来指导生产。信息的存在方式是多样的、非结构化的，大量的信息存在于表格中，而表格可能存在于pdf、网页、图像中。

针对pdf中的表格，目前存在的表格解析方法大致有通过读取pdf的xml信息来解析表格(如xpdf工具)、将pdf转为xml、html、word等其他格式再解析(如pdf-docx工具)、将pdf转为图像再进行结构识别，前两种由于pdf文件本身的信息损失，都不能准确地进行解析，第三种方法主要依赖于图像识别算法，目前现存的方法对复杂表格也不能够准确识别。

发明内容

本发明的目的在于针对现有技术的不足，提供一种基于图神经网络的表格结构识别方法，能够得到表格的单元格排列信息，如第i行第j列的具体内容，以及复杂表格的跨列(colspan)、跨行(rowspan)信息；本发明将图神经网络应用到表格结构识别中，将表格结构识别建模为图结点分类，并加入反馈调节网络及条件随机场(CRF)，对图结点分类结果进行基于表格整体结构合理性的修正。

本发明的目的是通过以下技术方案来实现的：一种基于图神经网络的表格结构识别方法，其特征在于，该方法包括以下步骤：

(1)识别出输入图像中表格的位置，截取出表格区域。

(2)对表格区域识别文字blob块。

(3)对每个blob找到邻近的blob集合，从而建立blob图结构：对表格区域内的blob集合按照图像y坐标进行排序，排列成多行的blob集合，每行的blob集合按照x坐标排序；排序后，对每行中的blob，找到同一行中下一个相邻的blob、下一行中与其x轴上有重合的blob作为其邻近集合。

(4)对blob图建立对偶图结构，将图结点连接预测问题转变为图结点分类问题：原blob图的每一对相连的blob对应于对偶图中的一个图结点，如果原blob图中两个相连的blob对有一个相同的blob，则在对偶图中这两个blob对对应的图结点之间有一条边。

(5)训练图结点分类模型，列分类模型的训练过程如下：

训练数据：对表格的对偶图上的每一个结点，如果该结点的两个原图blob是同列的，则该结点的ground truth为1，否则为0；结点的输入特征为该结点的两个原图blob的特征；

训练模型：用gnn模型建立分类器，用于分类对偶图中每个结点的类别，即每个结点代表的两个原图blob之间是否同列；

模型预测：得到表格的对偶图及每个结点的特征，输入模型得到每个结点的分类结果，即原图中每两个blob之间的同列关系。

(6)对blob之间的关系进行整理，得到表格的单元格结构：

分别计算表格的列集合和行集合；

表格的单元格：将表格行集合按照图像的y坐标排序，列集合按照图像的x坐标排序，再将每行每列进行交叉，得到表格的单元格；