[发明专利]一种基于机器学习的表格提取方法和系统在审
申请号: | 202011315774.5 | 申请日: | 2020-11-21 |
公开(公告)号: | CN112241730A | 公开(公告)日: | 2021-01-19 |
发明(设计)人: | 刘洋;侯启予 | 申请(专利权)人: | 杭州投知信息技术有限公司 |
主分类号: | G06K9/00 | 分类号: | G06K9/00;G06F40/177;G06F40/186;G06K9/34;G06F16/33;G06N20/00 |
代理公司: | 北京棘龙知识产权代理有限公司 11740 | 代理人: | 戴丽伟 |
地址: | 310000 浙江省杭州市余*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 机器 学习 表格 提取 方法 系统 | ||
1.一种基于机器学习的表格提取方法,其特征在于,所述方法包括:
获取表格模板集;
根据所述表格模板集生成第一实例;
获取第一实例中表格的单元格坐标;
随机隐藏第一实例中表格的边框线,获得第二实例;
基于所述单元格坐标为第二实例的表格及其单元格打标签;
基于实例分割模型对第二实例进行训练,获得预测模型;
基于所述预测模型分析预测文档,所述预测文档包括预测表格,获得预测表格的单元格坐标;
提取所述单元格坐标区域内的单元格内容;
根据所述单元格坐标恢复预测表格的结构;
基于所述单元格内容、单元格坐标和预测表格的结构,结构化预测表格。
2.根据权利要求1所述的表格提取方法,其特征在于,所述表格模板集的模板包括以下情形之一或它们的组合:含有多层次的合并单元格、缺少表格外边框线和缺少内边框线。
3.根据权利要求1所述的表格提取方法,其特征在于,所述第一实例基于弱监督学习的方法生成。
4.根据权利要求1所述的表格提取方法,其特征在于,获取第一实例中表格的单元格坐标的方法包括:
根据表格模板生成训练表格;
根据训练表格生成PDF文档;
获取所述PDF文档的矢量化信息;
基于所述矢量化信息识别表格、表格坐标和单元格坐标。
5.根据权利要求4所述的表格提取方法,其特征在于,获得第二实例的方法包括:
随机删除表格的边框线或使用白色粗线覆盖表格的边框线;
将所述表格保存为图片,作为第二实例。
6.根据权利要求1所述的表格提取方法,其特征在于,所述基于实例分割模型对第二实例进行训练的方法包括:
将所述第二实例划分为预训练实例和复杂训练实例;
基于实例分割模型对预训练实例进行训练,获得第一模型;
基于第一模型训练复杂训练实例进行训练,获得预测模型。
7.根据权利要求1所述的表格提取方法,其特征在于,提取单元格内容的方法包括:矢量化提取法或光学字符识别法。
8.根据权利要求1所述的表格提取方法,其特征在于,还包括分割所述预测文档的预测表格的方法:
通过连通域分析方法获取预测文档中的预测表格及其坐标范围;
将每个识别的单元格按所属的预测表格进行归类。
9.根据权利要求1或8所述的表格提取方法,其特征在于,恢复预测表格结构的方法包括:
根据单元格坐标恢复所述预测表格的边框线;
根据所述单元格坐标和预测表格的边框线获取单元格的行列;
根据所述单元格的行列恢复预测表格的结构。
10.一种用于实现权利要求1-9任一项所述方法的表格提取系统,其特征在于,包括第一获取模块、第一实例模块、单元格坐标获取模块、第二实例模块、标签模块、训练模块、预测模块、内容提取模块、表格结构恢复模块和表格结构化模块,
所述第一获取模块用于获取表格模板集;
所述第一实例模块用于根据所述表格模板集生成第一实例;
所述单元格坐标获取模块用于获取第一实例中表格的单元格坐标;
所述第二实例模块用于随机隐藏第一实例中表格的边框线,获得第二实例;
所述标签模块用于基于所述单元格坐标为第二实例的表格及其单元格打标签;
所述训练模块用于基于实例分割模型对第二实例进行训练,获得预测模型;
所述预测模块用于基于所述预测模型分析预测文档,所述预测文档包括预测表格,获得预测表格的单元格坐标;
所述内容提取模块用于提取单元格坐标区域内的单元格内容;
所述表格结构恢复模块用于根据单元格坐标恢复预测表格的结构;
所述表格结构化模块用于基于单元格内容、单元格坐标和预测表格的结构,结构化预测表格。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于杭州投知信息技术有限公司,未经杭州投知信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011315774.5/1.html,转载请声明来源钻瓜专利网。