[发明专利]一种将图像中表格转换为电子表格的方法及装置

权利要求书

1.一种将图像中表格转换为电子表格的方法，其特征是，包括如下步骤；

步骤S1：根据图像中的文字行及线，对图像做转正及矫正处理；

步骤S2：在图像中采用无锚的目标检测方法来确定图像中表格的位置，也称图像的表格区域；

步骤S3：在图像的表格区域中检测表格线；

步骤S4：根据对图像的表格区域进行光学字符识别获取的文字行信息，对步骤S3检测得到的表格线进行过滤，移除虚假表格线，得到真实表格线；

步骤S5：根据表格线之间的位置关系，将所有表格线分别归入各个行、各个列的组别；

步骤S6：根据表格线所属组别构建单元格，并将每一单元格范围内的光学字符识别结果作为该单元格中的文字信息保存；

步骤S7：根据表格最外侧一圈的单元格是否结构完整、以及相邻单元格之间是否有间隙，判断是否有缺失的单元格；如有缺失的单元格，在相应位置补齐单元格，以使表格最外侧一圈的单元格的结构完整、并且相邻单元格之间没有间隙，得到完整的结构化的电子表格。

2.根据权利要求1所述的将图像中表格转换为电子表格的方法，其特征是，所述步骤S1中，检测图像中的文字行及表格线的角度，并使图像中的每一行文字大致为水平排列，使表格线中的水平线大致为水平，使表格线中的竖直线大致为竖直的方式对整幅图像进行转正及矫正处理。

3.根据权利要求1所述的将图像中表格转换为电子表格的方法，其特征是，所述步骤S2中，所述无锚的目标检测方法包括CornerNet算法、CenterNet算法、ExtremeNet算法、DenseBox算法、YOLO算法、FSAF算法、FCOS算法、FoveaBox算法、RepPoints算法、SparseRCNN算法、CentripetalNet算法、SaccadeNet算法的任意一种或多种。

4.根据权利要求1所述的将图像中表格转换为电子表格的方法，其特征是，所述步骤S3具体包括如下子步骤；

步骤S31：采用基于语义分割网络的算法在图像的表格区域中预测和提取表格线区域，表格线区域是指表格线可能出现的位置，就是一些孤立的像素点；

步骤S32：在图像的表格线区域通过曲线拟合方法检测出表格线，也就是采用曲线拟合方法将前一步预测的孤立的像素点连接成线段。

5.根据权利要求4所述的将图像中表格转换为电子表格的方法，其特征是，所述步骤S31中，所述基于语义分割网络的算法是先通过标注的表格线数据进行训练，然后再使用训练好的算法预测和提取表格线区域。

6.根据权利要求1所述的将图像中表格转换为电子表格的方法，其特征是，所述步骤S4中，对图像的表格区域进行光学字符识别以获取文字行信息，在这一步或之前的任意步骤中进行，也包括对原始图像进行光学字符识别以获取文字行信息然后缩小到图像的表格区域内的文字行信息的方式。

7.根据权利要求1所述的将图像中表格转换为电子表格的方法，其特征是，所述步骤S5中，对于水平线，按起始端点排序后进行循环处理，遇到垂直距离接近且水平部分有重叠的水平线就进行合并去重，如此将逻辑上属于上同一条水平线但实际被检测为多条的水平线组装为一条水平线；最终，每一表格行的水平线归为一组，组内根据是否有单元格合并情况包含一根或多根水平线；对竖直线的处理采用类似方法。

8.根据权利要求1所述的将图像中表格转换为电子表格的方法，其特征是，所述步骤S6中，对单元格进行光学字符识别以获取识别结果，在这一步或之前的任意步骤中进行，包括对图像的表格区域进行光学字符识别以获取识别结果然后缩小到单元格范围内的识别结果的方式，也包括对原始图像进行光学字符识别以获取识别结果然后缩小到单元格范围内的识别结果的方式。

9.根据权利要求6或8所述的将图像中表格转换为电子表格的方法，其特征是，对图像的表格区域进行光学字符识别以获取文字行信息、对单元格进行光学字符识别以获取识别结果，两者同时进行。

10.一种将图像中表格转换为电子表格的装置，其特征是，包括转正及矫正处理单元、表格位置检测单元、表格线检测单元、表格线滤除单元、表格线分组单元、单元格构建单元、单元格补齐单元；

所述转正及矫正处理单元用来根据图像中的文字行及线，对图像做转正及矫正处理；

所述表格位置检测单元用来在图像中采用无锚的目标检测方法来确定图像中表格的位置，也称图像的表格区域；

所述表格线检测单元用来在图像的表格区域中检测表格线；

所述表格线滤除单元用来根据对图像的表格区域进行光学字符识别获取的文字行信息，移除虚假表格线，得到真实表格线；

所述表格线分组单元用来根据表格线之间的位置关系，将所有表格线分别归入各个行、各个列的组别；

所述单元格构建单元用来根据表格线所属组别构建单元格，并将每一单元格范围内的光学字符识别结果作为该单元格中的文字信息保存；

所述单元格补齐单元用来根据表格最外侧一圈的单元格是否结构完整、以及相邻单元格之间是否有间隙，判断是否有缺失的单元格；如有缺失的单元格，在相应位置补齐单元格，以使表格最外侧一圈的单元格的结构完整、并且相邻单元格之间没有间隙，得到完整的结构化的电子表格。