[发明专利]基于深度学习的弱监督电力图纸OCR识别方法

说明书

本发明公开了一种基于深度学习的弱监督电力图纸OCR识别方法，属于电力图纸智能识别技术领域，所述方法包括：利用预先训练好的文本检测模型对待识别图像进行检测，预测出整个单词级别的文本区域框；对预测出的文本区域框进行文字识别：对于竖直文本采用字符切割得到单个字符文本，对于水平文本则直接使用文本行，之后再通过CNN+BiLSTM+CTC模型进行识别；对得到的识别结果进行后处理：通过先验知识对结果进行判定和修改来提高准确率。本发明对图纸中水平竖直文本并存的情况能够准确检测出两种文本的区域，对图纸中中文、英文、数字混合的情况能够准确识别出其文字，并且本发明识别速度快，成本低。

技术领域

本发明涉及电力图纸智能识别技术领域，特别是指一种基于深度学习的弱监督电力图纸OCR识别方法。

背景技术

目前，智慧电力在我国电网系统的应用逐步开展，智慧电力将电能流和信息流结合在一起，实现能源传输的同时实现数据的采集。但是我国电力系统发展迅速的同时也会带来相当巨大的工作量，尤其对于电力系统中的图纸，图纸中的文字符号众多，字体相对偏小而且文本方向不统一，通过人工获取图中的信息，将会耗费过多时间并且准确率也无法得到保证。例如像变电站一次接线图，它采用规定的设备文字和图形符号并按照工作顺序排列，详细地表示电气设备或成套装备的全部基本组成和连接关系。但是其中的文字类型较多，而且相对图片本身它的字体过小，人工读取将会非常的耗时耗力。

为解决上述问题，近年来有许多研究工作基于计算机视觉以解决对图像中的文字进行OCR(Optical Character Recognition，光学字符识别)识别等问题。然而现有的OCR识别技术主要是基于词的水平上并只针对水平文本进行识别，例如CTPN(ConnectionistText Proposal Network，连接文本提议网络)和CRNN(Convolutional Recurrent NeuralNetwork，卷积循环神经网路)都只针对水平文本，而像EAST(Efficient and AccuracyScene Text，高效和准确的场景文本检测)这种可以检测多方向文本的模型又因为感受野过小不能获得理想的检测效果。所以针对图纸中存在的水平竖直文本并存，中文、英文、数字混合的情况现有的主流方法没有良好的鲁棒性。

发明内容

本发明要解决的技术问题是提供一种基于深度学习的弱监督电力图纸OCR识别方法，本发明旨在利用深度学习和传统计算机视觉处理技术相结合的方式，对电力系统中的图纸的文本进行OCR识别。针对图纸中存在的水平竖直文本并存的情况做到能够准确检测出两种文本的区域。针对图纸中中文、英文、数字混合的情况本发明能够准确识别出其文字。在此基础上还要提高识别的速度并且降低使用的成本。

为解决上述技术问题，本发明提供技术方案如下：

一种基于深度学习的弱监督电力图纸OCR识别方法，包括：

利用预先训练好的文本检测模型对待识别图像进行检测，通过检测每个文字字符的区域与文字字符的相互关系，预测出整个单词级别的文本区域框，其中所述文本检测模型对每个单词级别的标注区域使用弱监督训练学习字符特性；

对预测出的文本区域框进行文字识别：对于竖直文本采用字符切割得到单个字符文本，对于水平文本则直接使用文本行，之后再通过CNN+BiLSTM+CTC模型进行识别；

对得到的识别结果进行后处理：通过先验知识对结果进行判定和修改来提高准确率。

根据本发明优选的，所述利用预先训练好的文本检测模型对待识别图像进行检测，通过检测每个文字字符的区域与文字字符的相互关系，预测出整个单词级别的文本区域框之前，包括：

对电力系统图纸进行切割，得到预设尺寸范围内的待识别图像。

根据本发明优选的，所述文本检测模型的训练包括：

数据集使用两种：字符级标签的强数据集和单词级标签的弱数据集；