[发明专利]一种基于深度学习和图像处理的表格识别的还原方法

权利要求书

1.一种基于深度学习和图像处理的表格识别的还原方法，其特征在于，包括如下步骤：

步骤1：利用显著目标检测提取图像中的线段；

获取待识别图像中的表格ROI区域；

步骤2：对步骤1中得到的线条图像进行形态学运算，求得横向线段和纵向线段；并由满足一定长度的线段计算图像的偏转角度，初步校正表格的倾斜角度；

根据表格ROI区域横向线段和纵向线段交点以及单元格最小外接矩形得到各个单元格相对于表格ROI区域的坐标信息，以及跨行列的合并信息；

步骤3：根据各线条形成的组合区域提取图像的最大凸包；以横向纵向线条交点数量、凸包面积筛选处理结果，得到符合条件的表格图像凸包进行透视变换，进一步校正表格的倾斜角度以及一定的畸变；

步骤4：对校正后的交点坐标按照一定规则进行合并排序，得出单元格坐标；

对所述表格ROI区域进行文本检测和识别得到表格内的各个字符内容及其相对于表格ROI区域的坐标信息；根据所述表格ROI区域内各个单元格坐标信息和各个字符坐标信息，将各个字符识别结果填充至合并后的单元格内；

步骤5：利用文字检测算法提取文本框坐标，截取文字区域图像由CRNN算法进行文字识别；

步骤6：利用CRNN算法的CTC解码过程得出单字坐标，该单字坐标经由文本框坐标映射到原图像区域，结合单元格坐标以确定该字的单元格归属；

步骤7：将该表格及其单元格内文字内容按照一定比例还原至word页面。

2.根据权利要求1所述的一种基于深度学习和图像处理的表格识别的还原方法，其特征在于，

所述获取待识别图像中的表格ROI区域，包括：

应用SOD方法检测待识别图像中属于表格结构的线段将其作为显著目标与背景分离；

根据所述显著目标图像进行形态学运算得到分别含有横向线段和纵向线段的两幅图像并按照一定的规则进行噪声线段的删除；

待识别图像校正，利用所述纵向线段图像获取待识别图像的偏转角，并对待识别图像、横向线段图像、纵向线段图像进行旋转校正。

3.根据权利要求2所述的一种基于深度学习和图像处理的表格识别的还原方法，其特征在于，

根据所述旋转校正后的横向线段图像、纵向线段图像求和获得表格掩膜图像；

对所述表格掩膜图像求外接矩形获取初步的表格ROI区域，对该ROI区域进行透视变换校正。

4.根据权利要求2所述的一种基于深度学习和图像处理的表格识别的还原方法，其特征在于，

所述待识别图像校正，包括：

对纵向线段应用Hough直线拟合算法，求得拟合直线结果的纵向统计线段长度大于图像高度的一定比例的平均角度确定第一阶段的图像偏转角度；

将待识别图像、横向线段图像和纵向线段图像均进行上述图像偏转角度的相反数值的旋转，使得表格的偏转角近似为0。

5.根据权利要求4所述的一种基于深度学习和图像处理的表格识别的还原方法，其特征在于，

对所述所得横向线段和纵向线段图像求和运算，得到表格的掩膜图像；

对所述所得表格掩膜图像求外接矩形，得到待识别图像、横向线段图像、纵向线段图像的ROI区域；对所述ROI区域进行透视变换二次校正。

6.根据权利要求1所述的一种基于深度学习和图像处理的表格识别的还原方法，其特征在于，

获取待识别所述各个字符的坐标信息，包括：

获取待识别图像的表格ROI区域的文本框坐标；

根据所述文本框坐标得到待识别文本区域，截取该区域图像利用CRNN算法进行识别；

根据所述识别阶段进行CTC解码，获取文本框内的图像片段和各个字符的从属关系，从而获取单个字符在文本框内的坐标。

7.根据权利要求6所述的一种基于深度学习和图像处理的表格识别的还原方法，其特征在于，根据所述单个字符在文本框内的坐标以及文本框坐标，建立字符坐标与文本框坐标的映射关系，从而获取单个字符在表格ROI区域的坐标。