[发明专利]一种基于深度学习的表格提取和识别方法及系统

说明书

本申请公开了一种基于深度学习的表格提取和识别方法及系统，所述方法包括：S1，使用目标检测模型定位文档图片中表格的位置，去除重复检测框，获取表格的坐标，并从原图中以该坐标截取出表格图片；S2，使用图像分割模型检测表格线，获取检测表格线的首尾坐标，对表格线检测不全的线条进行填补，对表格边界未闭合的线条进行补全，通过标记二值化图片的八连通区域获取表格线搭建的单元格坐标，去除重合和不符要求的单元格；S3，对所有横线和竖线进行排序，获取单元格的行列分布，实现表格结构的重建，对原图做OCR识别，将文本识别内容和表格的单元格一一对应，实现表格内容的重建。本申请提高了表格提取和识别的正确率。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于深度学习的表格提取和识别方法及系统。

背景技术

随着计算机技术的迅速发展，将表格文档图像转换为文本文件的需求正在增加，在政务领域需要频繁且大量审核和录入表格类材料，如果可以智能识别出图像上的表格，并规范输出每个单元格的行列，可以辅助政务窗口服务人员提高工作效率，同时也能帮助用户在办件过程实现预填功能。

目前市面上的表格识别大多基于规则和版面对齐等方法，存在正确率低且通用性差等问题。

因此，如何提供一种有效的方案以准确识别图片表格，是现有技术中亟待解决的问题。

发明内容

本发明的目的在于提供一种基于深度学习的表格提取和识别方法及系统，以解决上述技术背景中提出的问题。

为实现上述目的，本发明采用以下技术方案：

本申请第一个方面提供了一种基于深度学习的表格提取和识别方法，包括：

S1，表格检测：使用目标检测模型定位文档图片中表格的位置；去除重复检测框，获取表格的坐标，并从原图中以该坐标截取出表格图片；

S2，检测表格线，获取单元格：

S21，使用图像分割模型检测表格线，图像分割模型预测出的目标区域是多边形区域；

S22，对预测的目标区域的二值化图片做八连通区域标记，获取目标区域的轮廓点集坐标，求取每个目标区域的最小外接矩形，由最小外接矩形的左上角和右下角坐标作为表格线的首尾坐标；

S23，对表格线检测不全的线条进行填补；

S24，对表格边界未闭合的线条进行补全；

S25，对处理后的表格线生成的二值化图像做八连通区域标记，获取由所有表格线所搭建的单元格坐标；

S26，去除重合的单元格和尺寸不符合预设要求的单元格；

S3，表格重建：对表格线中所有的横线和竖线进行排序，获取单元格的行列分布，实现表格结构的重建，以及对原图做OCR(Optical Character Recognition，光学字符识别)识别，将文本识别内容和表格的单元格一一对应，实现表格内容的重建。

优选地，步骤S1具体包括如下步骤：

S11，使用yolov5模型对表格位置进行定位；

S12，采用非极大值抑制NMS算法对yolov5模型预测的候选框去除重复检测框，获得表格的具体坐标。

更优选地，步骤S12具体包括如下步骤：

计算n个候选框的面积大小；

对置信度进行降序排序，获取排序后的下标序号，即采用argsort；

将当前置信度最大的候选框加入到结果列表中；

计算当前置信度最大的候选框与其他任意候选框的相交面积；