[发明专利]一种质量检验报告扫描图像表格语义解析方法与系统

说明书

本发明提供一种多方向可纠错的封闭开关设备质量检验报告扫描图像表格语义解析方法与系统，具体包括1)对质量检验报告扫描图像表格进行图像预处理；2)对质量检验报告扫描图像不同角度切分表格的文字进行定位与识别；3)对质量检验报告扫描图像文字识别结果语义解析与纠错，得出结果。本发明的优点在于：利用表格线识别定位文字，去除扫描文档的阴影干扰；实现了倾斜文本和多尺度文本的检测；对文本识别的错字错词实现自动纠错。

技术领域

本发明属于计算机及信息服务技术，特别涉及对特定扫描图像的表格内容语义解析的方法和系统。

背景技术

语义解析是图像与文本理解中高层认知的重点和难点，对于封闭开关设备质量检验报告扫描图像表格，我们希望利用图像与文本理解算法识别扫描图像，并对识别结果进行语义解析，实现封闭开关设备的自动验收。

对于图像理解算法，可以对文字进行定位与识别。目前比较成熟的文本检测框架为CTPN(Connectionist Text Proposal Network)，精确度较好，但是检测时间较长，只能检测水平方向的文本，有很大的优化空间。

对于文本理解算法，文本语义解析在扫描图像的表格内容中可进行信息抽取与文本纠错。目前文本语义解析的纠错模型包括了端到端的深度模型、CRF(conditionalrandom field)、seq2seq等。端到端的深度模型可以避免人工提取特征，减少人工工作量，CRF会计算全局最优输出节点的条件概率，对句子中特定错误类型的检测，会根据整句话判定该错误，seq2seq模型是使用encoder-decoder结构解决序列转换问题。

目前，现有的图像语义解析技术对于扫描图像文本的识别只能基于水平方向，对表格识别无法保留原来的结构化信息，且不包含对识别文字信息的语义解析，对于错误识别的内容没有配套的纠错方案。

发明内容

本发明针对现有技术的不足之处，提出一种多方向可纠错的扫描图像表格语义解析方法与系统，并将其应用在封闭开关设备质量检验报告中，通过识别表格线来切分与定位文字，基于RRPN(Rotation Region Proposal Network)目标识别模型与DenseNet卷积神经网络实现多方向的文字识别，最后基于RNN(Recurrent Neural Network)序列模型实现文本纠错。

本发明提出一种质量检验报告扫描图像表格语义解析方法，包括以下步骤：

步骤1，对封闭开关设备质量检验报告扫描图像表格进行图像预处理，包括图像自适应的二值化、噪声去除，识别扫描图像表格的表格线，以表格线交点作为判断依据切分表格，并记录每份切片所处的位置；

步骤2，构建多方向文字定位模型实现切分表格的文字定位，设计带角度信息的倾斜候选框，实现对不同扫描角度的质量检验报告的文字定位；

步骤3，基于DenseNet构建文字识别模型对定位文字进行识别，设计卷积网络层之间的残差连接提高文字的识别率，实现质量检验报告的切片表格文字识别；

步骤4，对于识别后的文字部分，利用预训练的RNN模型进行表格文字的语义解析，构建针对封闭开关设备质量检验报告的快速文本修正模型；

步骤5，利用训练好的文本修正模型，结合切片位置信息还原表格文字布局，得到封闭开关设备质量检验报告扫描图像表格的最终识别结果，并实现检验报告的自动比对。

进一步的，步骤1中识别扫描图像表格的表格线，以表格线交点作为判断依据切分表格，并记录每份切片所处的位置，其具体实现步骤如下；

首先识别图像中的所有竖线，设定距离阈值，将在距离阈值内的竖线视为同一竖线，取坐标最高最低点作为竖线的起点和结点坐标；同理识别所有横线，定距离阈值，将在距离阈值内的横线视为同一横线，取坐标最左最右点作为竖线的起点和结点坐标，得到扫描表格的所有表格线；