[发明专利]一种针对带表格合同的OCR识别方法在审
申请号: | 202010529446.9 | 申请日: | 2020-06-11 |
公开(公告)号: | CN111709349A | 公开(公告)日: | 2020-09-25 |
发明(设计)人: | 程欢;吴青昀;徐俊杰 | 申请(专利权)人: | 杭州尚尚签网络科技有限公司 |
主分类号: | G06K9/00 | 分类号: | G06K9/00;G06K9/20;G06N3/04;G06N3/08 |
代理公司: | 杭州求是专利事务所有限公司 33200 | 代理人: | 陈升华 |
地址: | 310012 浙江省杭州市西*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 针对 表格 合同 ocr 识别 方法 | ||
1.一种针对带表格合同的OCR识别方法,其特征在于,包括以下步骤:
1)对输入的合同图片进行表格检测,如果合同图片中包含表格,将表格从合同图片中切片出来,得到表格切片,剩余部分作为非表格切片,并记录各切片在原合同图片中的位置信息,得到表格切片的位置信息和非表格切片的位置信息;如果合同图片中不含表格,整张合同图片就作为一个非表格切片;
2)对步骤1)得到的表格切片进行单元格检测,根据检测结果对表格切片中的单元格进行切片,得到单元格切片,每个单元格切片仅包含原表格样式中的一个单元格,并且记录单元格切片在表格切片中的位置信息,得到单元格位置信息;
3)对步骤2)产生的单元格切片进行文本识别,得到单元格的文本信息,并对步骤1)产生的非表格切片进行文本识别,得到非表格切片的文本信息;
4)结合步骤3)得到的单元格的文本信息以及步骤2)得到的单元格位置信息,得到结构化的表格信息,再结合步骤3)得到的非表格切片的文本信息和步骤1)得到的表格切片的位置信息和非表格切片的位置信息,得到整张合同图片的识别结果。
2.根据权利要求1所述的针对带表格合同的OCR识别方法,其特征在于,步骤1)中,所述的表格检测采用训练后的表格检测模型,表格检测模型的训练过程包括:
1.1)将模板合同转换成docx格式的word文档,在word文档中插入表格,插入表格后的word文档解压出document.xml文件,然后操作文档里面的document.xml文件,将表格外框修改成特定颜色,得到表格外框修改成特定颜色的word文档;
1.2)将表格外框修改成特定颜色的word文档转换成pdf文档,利用pdf转图片工具转换成合同图片,然后对合同图片进行矩形识别,得到表格在合同图片中的位置和大小,再将未修改的word文档转换成图片,得到标注数据;
1.3)在不同的模板合同中不同位置插入不同类型的表格,重复步骤1.1)和1.2)得到不同的标注数据;
1.4)利用步骤1.2)和1.3)得到的标注数据训练表格检测模型,得到训练后的表格检测模型。
3.根据权利要求2所述的针对带表格合同的OCR识别方法,其特征在于,步骤1.2)中,对图片进行矩形识别采用基于opencv库的矩形识别方法。
4.根据权利要求2所述的针对带表格合同的OCR识别方法,其特征在于,步骤1.4)中,所述的表格检测模型为YOLOv4。
5.根据权利要求1所述的针对带表格合同的OCR识别方法,其特征在于,步骤2)中,所述的单元格检测采用训练后的表格单元格检测模型,表格单元格检测模型的训练过程包括:
2.1)在空白的docx格式word文档中插入表格,插入表格后的word文档解压出document.xml文件,然后操作文档里面的document.xml文件,将表格线框修改成特定颜色,得到表格线框修改成特定颜色的word文档;
2.2)将表格线框修改成特定颜色的word文档转换成pdf文档,利用pdf转图片工具转换成合同图片,然后对合同图片进行矩形识别,得到表格在合同图片中的位置和大小,再将未修改的word文档转换成图片,得到标注数据;
2.3)利用步骤2.2)的标注数据训练表格单元格检测模型,得到训练后的表格单元格检测模型。
6.根据权利要求5所述的针对带表格合同的OCR识别方法,其特征在于,步骤2.2)中,对图片进行矩形识别采用基于opencv库的矩形识别方法。
7.根据权利要求5所述的针对带表格合同的OCR识别方法,其特征在于,步骤2.3)中,所述的表格单元格检测模型为YOLOv4。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于杭州尚尚签网络科技有限公司,未经杭州尚尚签网络科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010529446.9/1.html,转载请声明来源钻瓜专利网。