[发明专利]一种基于深度学习和图像处理的表格识别的还原方法

说明书

本发明适用于光学字符识别技术领域，具体是一种基于深度学习和图像处理的表格识别的还原方法，包括如下步骤：利用显著目标检测提取图像中的线段；并由满足一定长度的线段计算图像的偏转角度，初步校正表格的倾斜角度；根据各线条形成的组合区域提取图像的最大凸包；以横向纵向线条交点数量、凸包面积筛选处理结果，得到符合条件的表格图像凸包进行透视变换，进一步校正表格的倾斜角度以及一定的畸变；对校正后的交点坐标按照一定规则进行合并排序，得出单元格坐标；利用文字检测算法提取文本框坐标；将该表格及其单元格内文字内容按照一定比例还原至word页面；进而提供了一种鲁棒性强、形式简单、实现方便的解决方法。

技术领域

本发明涉及光学字符识别技术领域，具体是一种基于深度学习和图像处理的表格识别的还原方法。

背景技术

OCR（optical character recognition）文字识别是指电子设备检查纸上打印的字符，然后用字符识别方法将形状翻译成计算机文字的过程；即，对文本资料进行扫描，然后对图像文件进行分析处理，获取文字及版面信息的过程。如何除错或利用辅助信息提高识别正确率，是OCR最重要的课题。衡量一个OCR系统性能好坏的主要指标有：拒识率、误识率、识别速度、用户界面的友好性，产品的稳定性，易用性及可行性等。

随着基于深度学习理论的OCR技术的迅速发展，卷积神经网络和长短期记忆网络占据了愈发重要的地位。基于显著目标检测的表格线检测方法和后续的图像处理算法结合的方法具有比传统方法更加鲁棒的性能的同时，在实现和部署运行速度上也具有较好的性能。随着现代社会对文档电子化管理的需求愈加频繁，表格电子化作为还原原始文档格式的重要部分，寻求一种鲁棒性强，实现简便的表格识别及还原方法变得尤为重要。

经典的传统表格识别方法主要包含通过对待识别图像进行二值化获取表格线的处理方式，该方式在图像明暗不均衡，背景复杂的情况下很难取得较好的表格线识别结果，从而难以准确地还原表格真实结构；

现行的表格文本还原方法主流方式有两种：一是通过整张表格的文本字符串检测框和单元格位置重叠阈值判断文本内容是否从属于该单元格；二是截取各个单元格区域图像进行文本识别，在表格还原阶段将其结果填充至所属单元格内；其中第一种方法很难区分从属于不同单元格但绝对距离接近的两个文本实例，从而导致还原结果出错，第二种方法需要进行多次文本检测算法的遍历从而导致文本识别过程具有较高的时延，同时单元格边缘区域文本识别这一场景需要对单元格边界有极其精准的判断，具有较高的复杂度。

发明内容

本发明的目的在于提供一种基于深度学习和图像处理的表格识别的还原方法，以解决上述背景技术中提出的问题。为实现上述目的，本发明提供如下技术方案：

一种基于深度学习和图像处理的表格识别的还原方法，包括如下步骤：

步骤1：利用显著目标检测提取图像中的线段；

获取待识别图像中的表格ROI（Region of Interest，感兴趣）区域；

步骤2：对步骤1中得到的线条图像进行形态学运算，求得横向线段和纵向线段；并由满足一定长度的线段计算图像的偏转角度，初步校正表格的倾斜角度；

根据表格ROI区域横向线段和纵向线段交点以及单元格最小外接矩形得到各个单元格相对于表格ROI区域的坐标信息，以及跨行列的合并信息；

步骤3：根据各线条形成的组合区域提取图像的最大凸包；以横向纵向线条交点数量、凸包面积筛选处理结果，得到符合条件的表格图像凸包进行透视变换，进一步校正表格的倾斜角度以及一定的畸变；

步骤4：对校正后的交点坐标按照一定规则进行合并排序，得出单元格坐标；