[发明专利]基于深度学习的弱监督电力图纸OCR识别方法在审

专利信息
申请号: 202010714478.6 申请日: 2020-07-21
公开(公告)号: CN111860348A 公开(公告)日: 2020-10-30
发明(设计)人: 王杉;李昊;石玮;朱玉锦;高连学;王黎;孙万珺;苗纯源;甘甜 申请(专利权)人: 国网山东省电力公司青岛供电公司;国家电网有限公司;山东大学
主分类号: G06K9/00 分类号: G06K9/00;G06K9/32;G06K9/34;G06N3/04;G06N3/08
代理公司: 济南竹森知识产权代理事务所(普通合伙) 37270 代理人: 吕利敏
地址: 266000 山*** 国省代码: 山东;37
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 基于 深度 学习 监督 电力 图纸 ocr 识别 方法
【权利要求书】:

1.一种基于深度学习的弱监督电力图纸OCR识别方法,其特征在于,包括:

利用预先训练好的文本检测模型对待识别图像进行检测,通过检测每个文字字符的区域与文字字符的相互关系,预测出整个单词级别的文本区域框,其中所述文本检测模型对每个单词级别的标注区域使用弱监督训练学习字符特性;

对预测出的文本区域框进行文字识别:对于竖直文本采用字符切割得到单个字符文本,对于水平文本则直接使用文本行,之后再通过CNN+BiLSTM+CTC模型进行识别;

对得到的识别结果进行后处理:通过先验知识对结果进行判定和修改来提高准确率。

2.根据权利要求1所述的方法,其特征在于,所述利用预先训练好的文本检测模型对待识别图像进行检测,通过检测每个文字字符的区域与文字字符的相互关系,预测出整个单词级别的文本区域框之前,包括:

对电力系统图纸进行切割,得到预设尺寸范围内的待识别图像。

3.根据权利要求1所述的方法,其特征在于,所述文本检测模型的训练包括:

数据集使用两种:字符级标签的强数据集和单词级标签的弱数据集;

标签包括:字符级的高斯热图和字符间连接的高斯热图;

对于单词级标签的弱数据集生成伪标签:首先,将单词级别的字符区域从原图中裁剪出来;之后,使用强监督训练出的预训练模型预测区域分数Region score,再通过分水岭算法分割字符区域得到字符框;最后,将字符框的坐标转换回原坐标;

文本检测模型训练过程分为两步:首先,在SynthText数据集上进行训练,迭代50K次;之后,在电力系统图纸数据集上进行微调fine-tuning,此时弱标签数据和强标签数据按照1:5的比例进行训练,即得到所需的文本检测模型。

4.根据权利要求3所述的方法,其特征在于,所述字符级标签的强数据集为SynthText数据集,所述单词级标签的弱数据集为电力系统图纸数据集。

5.根据权利要求3所述的方法,其特征在于,对于字符级标签的强数据集来说,字符级的高斯热图直接由字符框生成高斯热图来获得,字符间连接的高斯热图是由亲和力框Affinity Box生成高斯热图来获得,其中,Affinity Box是通过连接字符框的对角线,再对连接对角线后产生的三角形进行组合得到候选的Affinity Box,之后选出其中面积最大且为凸四边形的即为Affinity Box。

6.根据权利要求1所述的方法,其特征在于,所述利用预先训练好的文本检测模型对待识别图像进行检测,通过检测每个文字字符的区域与文字字符的相互关系,预测出整个单词级别的文本区域框,包括:

对待识别图像通过视觉几何群VGG-16构架进行特征提取,之后通过特征金字塔网络FPN进行特征融合,其中在解码阶段跳过连接,就像U-net聚合底层特征一样采用自顶向下的特征聚合方式,浅层和深层的卷积特征相结合作为输出,有效保留浅层的结构特征和深层的语义特征;

再通过使用3*3*32、3*3*32、3*3*16和1*1*16四次卷积,最终的1*1卷积层使用两个卷积核输出两个分支结果,输出分为两个通道区域分数region score和亲和力分数affinityscore,分别为单字符中心区域的概率和相邻字符区域中心的概率,得到原图大小1/2的预测图,即可预测出每个文字字符的区域与文字字符的相互关系的置信度;

对预测的region score和affinity score分别记为Sr(p)和Sa(p),τr和τa分别表示各自的阈值,创建与图像相同大小的二进制图M,并将其全部像素点初始化为0,若Sr(p)τr或Sa(p)τa,则对二进制图M进行二值化操作,最终得到二值化图像M,之后在M的基础上使用连通区域标记法对图像中不同连通区域中的像素设置唯一的标号,将所有相连的值为1的像素定为一个文本目标,最终将这些单独预测的字符区域连接起来,在这些区域上使用最小包围矩形框得到一个带角度的矩形框检测结果,即可获得单词级别的文本区域框。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于国网山东省电力公司青岛供电公司;国家电网有限公司;山东大学,未经国网山东省电力公司青岛供电公司;国家电网有限公司;山东大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202010714478.6/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top