[发明专利]基于深度学习的弱监督电力图纸OCR识别方法

权利要求书

1.一种基于深度学习的弱监督电力图纸OCR识别方法，其特征在于，包括：

利用预先训练好的文本检测模型对待识别图像进行检测，通过检测每个文字字符的区域与文字字符的相互关系，预测出整个单词级别的文本区域框，其中所述文本检测模型对每个单词级别的标注区域使用弱监督训练学习字符特性；

对预测出的文本区域框进行文字识别：对于竖直文本采用字符切割得到单个字符文本，对于水平文本则直接使用文本行，之后再通过CNN+BiLSTM+CTC模型进行识别；

对得到的识别结果进行后处理：通过先验知识对结果进行判定和修改来提高准确率。

2.根据权利要求1所述的方法，其特征在于，所述利用预先训练好的文本检测模型对待识别图像进行检测，通过检测每个文字字符的区域与文字字符的相互关系，预测出整个单词级别的文本区域框之前，包括：

对电力系统图纸进行切割，得到预设尺寸范围内的待识别图像。

3.根据权利要求1所述的方法，其特征在于，所述文本检测模型的训练包括：

数据集使用两种：字符级标签的强数据集和单词级标签的弱数据集；

标签包括：字符级的高斯热图和字符间连接的高斯热图；

对于单词级标签的弱数据集生成伪标签：首先，将单词级别的字符区域从原图中裁剪出来；之后，使用强监督训练出的预训练模型预测区域分数Region score，再通过分水岭算法分割字符区域得到字符框；最后，将字符框的坐标转换回原坐标；

文本检测模型训练过程分为两步：首先，在SynthText数据集上进行训练，迭代50K次；之后，在电力系统图纸数据集上进行微调fine-tuning，此时弱标签数据和强标签数据按照1:5的比例进行训练，即得到所需的文本检测模型。

4.根据权利要求3所述的方法，其特征在于，所述字符级标签的强数据集为SynthText数据集，所述单词级标签的弱数据集为电力系统图纸数据集。

5.根据权利要求3所述的方法，其特征在于，对于字符级标签的强数据集来说，字符级的高斯热图直接由字符框生成高斯热图来获得，字符间连接的高斯热图是由亲和力框Affinity Box生成高斯热图来获得，其中，Affinity Box是通过连接字符框的对角线，再对连接对角线后产生的三角形进行组合得到候选的Affinity Box，之后选出其中面积最大且为凸四边形的即为Affinity Box。

6.根据权利要求1所述的方法，其特征在于，所述利用预先训练好的文本检测模型对待识别图像进行检测，通过检测每个文字字符的区域与文字字符的相互关系，预测出整个单词级别的文本区域框，包括：

对待识别图像通过视觉几何群VGG-16构架进行特征提取，之后通过特征金字塔网络FPN进行特征融合，其中在解码阶段跳过连接，就像U-net聚合底层特征一样采用自顶向下的特征聚合方式，浅层和深层的卷积特征相结合作为输出，有效保留浅层的结构特征和深层的语义特征；

再通过使用3*3*32、3*3*32、3*3*16和1*1*16四次卷积，最终的1*1卷积层使用两个卷积核输出两个分支结果，输出分为两个通道区域分数region score和亲和力分数affinityscore，分别为单字符中心区域的概率和相邻字符区域中心的概率，得到原图大小1/2的预测图，即可预测出每个文字字符的区域与文字字符的相互关系的置信度；

对预测的region score和affinity score分别记为S_r(p)和S_a(p)，τ_r和τ_a分别表示各自的阈值，创建与图像相同大小的二进制图M，并将其全部像素点初始化为0，若S_r(p)τ_r或S_a(p)τ_a，则对二进制图M进行二值化操作，最终得到二值化图像M，之后在M的基础上使用连通区域标记法对图像中不同连通区域中的像素设置唯一的标号，将所有相连的值为1的像素定为一个文本目标，最终将这些单独预测的字符区域连接起来，在这些区域上使用最小包围矩形框得到一个带角度的矩形框检测结果，即可获得单词级别的文本区域框。