[发明专利]一种全线表表格结构识别方法

说明书

本发明公开了一种全线表表格结构识别方法，包括：采用实例分割算法对文档图像进行单元格分割，得到每一个单元格对应于文档图像中单元格所在区域的二值化掩码图像；将每一个单元格的二值化掩码图像进行或运算和形态学闭操作，得到表格整体区域图像及表格整体区域图像的二值化掩码图像；采用矫正算法，在获得表格整体区域图像中表格区域的四个顶点后，利用TPS变换以这四个顶点为基准将弯曲表格修正为以这四个顶点为顶点的近似四边形表格区域，并使用透视变换将近似四边形表格区域转换成水平矩形的正表格图像；进行单元格目标检测获得每一个单元格的边界框；利用基于规则化排序算法进行排序以识别表格结构，将表格结构表达成对应的标记语言描述。

技术领域

本发明属于图像处理与人工智能技术领域，特别是涉及一种全线表表格结构识别方法。

背景技术

表格，不仅仅是一种可视化的交流模式，也是一种组织整理数据的方式。在过去几十年里，随着信息技术、电子计算机科技的快速发展，智能手机、扫描仪等电子设备得到了广泛的应用，越来越多的客户通过这些设备对文档进行拍照、扫描和上传，使得数字文档的生产和存储呈指数级增长。因此，对于提取这类非结构化文档图像(如零售收据、保险索赔表格和金融发票等)中的信息的需求正变得越来越迫切。从这些文档中提取信息的一个关键任务是提取表格的结构信息，但是，依赖人工从如此大规模且多样化的文档图像库中准确地提取表格结构信息是不现实的。具体地，表格文档图像手工处理，劳动力成本高，数据处理时间长等。随着计算机技术的发展，研究如何利用自动化技术加速表格文档图像的信息抽取，以便更好地提取文档图像中的表格信息，具有十分重大的现实意义。通常，这些文档包含存储在表格中的数据，不仅仅表格在布局和视觉外观上有多种变化，而且除了表格之外，文档图像中还有许多其他页面对象(如文本和图形)，这些页面对象在外观上也有很大差异。表格结构的变化，用于可视化分离表格组件的图形元素的变化，以及在文档图像中存在的大量残缺、破损、遮挡等噪声，特别是由纸质文档等拍摄、扫描而得的表格图像在生成过程中由于纸张自然弯曲、拍摄角度等造成的表格不规则形变，进一步加大了图像中提取表格结构信息难度，使得从这些表格文档图像中抽取信息成为一个非常具有挑战性的问题。

得益于深度学习技术的发展，现有的基于深度学习的表格结构识别方法大体上可以分为三类。

第一类，受分割和检测任务的启发，一些研究采用深度学习技术进行表格中单元格的检测或分割，并结合相应的后处理算法实现表格结构识别。虽然这类方法能在一定程度上解决单元格空间位置上的定位问题，但他们只解决了单元格的定位问题，而忽略了单元格在表格中的逻辑位置。

第二类，从图像-序列模型角度来看，其他研究试图将表格图像直接转换为标记序列(如LaTeX或HTML)。此类模型虽然能够恢复出单元格的逻辑位置，但是模型没有显示地利用单元格之间、单元格与表格整体的空间位置关系信息，从而限制了此类模型的性能。

第三类，考虑到不同单元格逻辑位置之间的关系，一些研究开始使用图神经网络来建模不同单元格之间的关系，把结构识别问题转换为图神经网络中边的分类或节点的分类问题。这类算法在构建图网络之前往往需要采用文本检测或者关键点检测等单元格检测网络得到表格中单元格的空间位置等信息，而非实现端到端，并且易受到检测网络性能的影响。

除此之外，现有技术中对表格结构的识别方法较为复杂，且极度依赖于表格形状的规整程度，因为拍摄对象本身的不平整、拍摄角度以及光照等因素造成的弯曲、倾斜等不规则形状的表格文档图像的结构识别效果不佳。

发明内容

有鉴于此，有必要针对上述技术问题，提供一种简单有效的基于规则的表格结构识别方法，所述方法直接通过单元格空间位置上的排序确定单元格的逻辑位置进而计算单元格的跨行跨列属性，在一定程度上适应表格图像的不规则形变，另外所述方法还设计了针对不规则表格进行处理的表格矫正算法，能在一定程度上减小表格图像弯曲、倾斜等不规则形变，进而提高不规则形状表格的结构识别性能。

本发明公开了一种全线表表格结构识别方法，包括以下步骤：