[发明专利]一种质量检验报告扫描图像表格语义解析方法与系统

权利要求书

1.一种质量检验报告扫描图像表格语义解析方法，其特征在于，包括以下步骤：

步骤1，对封闭开关设备质量检验报告扫描图像表格进行图像预处理，包括图像自适应的二值化、噪声去除，识别扫描图像表格的表格线，以表格线交点作为判断依据切分表格，并记录每份切片所处的位置；

步骤2，构建多方向文字定位模型实现切分表格的文字定位，设计带角度信息的倾斜候选框，实现对不同扫描角度的质量检验报告的文字定位；

步骤3，基于DenseNet构建文字识别模型对定位文字进行识别，设计卷积层之间的残差连接提高文字的识别率，实现质量检验报告的切片表格文字识别；

步骤4，对于识别后的文字部分，利用预训练的RNN模型进行表格文字的语义解析，构建针对封闭开关设备质量检验报告的快速文本修正模型；

步骤5，利用训练好的文本修正模型，结合切片位置信息还原表格文字布局，得到封闭开关设备质量检验报告扫描图像表格的最终识别结果，并实现检验报告的自动比对。

2.根据权利要求1所述一种质量检验报告扫描图像表格语义解析方法，其特征在于：步骤1中识别扫描图像表格的表格线，以表格线交点作为判断依据切分表格，并记录每份切片所处的位置，其具体实现步骤如下；

首先识别图像中的所有竖线，设定距离阈值，将在距离阈值内的竖线视为同一竖线，取坐标最高最低点作为竖线的起点和结点坐标；同理识别所有横线，定距离阈值，将在距离阈值内的横线视为同一横线，取坐标最左最右点作为竖线的起点和结点坐标，得到扫描表格的所有表格线；

计算所有横竖线的交点坐标，遍历除最右和最下面两条线上的所有交点，记遍历当前点为点A，记A点右侧和下方的点为B和C，若能找到成立矩形的第四个点D，则构成矩形切片，否则继续遍历，得到所有矩形切片即为所有表格切片。

3.根据权利要求1所述一种质量检验报告扫描图像表格语义解析方法，其特征在于：步骤2中构建多方向文字定位模型实现切分表格的文字定位，其具体实现方式如下，

整体模型分为三个部分，第一部分使用VGG网络对表格切片提取图像特征，第二部分在图像特征矩阵中生成带倾斜角的文本候选区域，第三部分设计损失函数，训练得到多方向文字定位模型，实现对不同扫描角度的质量检验报告的文字定位；

其中，第二部分在图像特征矩阵中生成带倾斜角的文本候选区域的具体实现方式如下，

设计文本区域的表现形式为：(x,y,w,h,θ)，其中(x,y)表示文本区域的几何中心点坐标，(w,h)分别表示文本区域的长边和短边，θ表示文本区域长边与x正轴的夹角，通过θ+kπ将θ的范围控制在之间；

设计旋转的Anchor，进行如下改进：1)选择六个旋转角度，分别是2)选择三个比例分别为1:3,1:5,1:8；3)选择三个大小，分别为8，16，32像素；对于H×W的特征图上的每一个点共生成六个方向，三个宽高比，三个大小，一共54×H×W个Anchor；

第三部分损失函数设计如下，

L(p,l,v^*,v)＝L_cls(p,l)+λlL_reg(v^*,v)

其中参数l表示类别，其中对于文本l＝1，对于背景l＝0，参数p为softmax函数计算的类的概率，λ为平衡参数，v表示预测的文本区域，v^*表示真实的文本区域；

类别l的分类损失定义如下，

L_cls(p,l)＝-logp_l

其中p_l为类别l的softmax函数计算的概率；

边界回归的损失定义如下，

其中，i为由{x,y,w,h,θ}表示的一个文本区域。

4.根据权利要求3所述一种质量检验报告扫描图像表格语义解析方法，其特征在于：对于多方向文字定位模型采用单独训练的方式，选取IoU大于0.7且与真实框夹角小于的标注框作为正样本，IoU小于0.3或IoU大于0.7但与真实框夹角大于的标注框作为负样本，进行训练，得到多方向文字定位模型。