[发明专利]训练表格指标抽取模型、表格指标抽取的方法及系统在审
申请号: | 202010062892.3 | 申请日: | 2020-01-19 |
公开(公告)号: | CN111309819A | 公开(公告)日: | 2020-06-19 |
发明(设计)人: | 刘敏娟;卢垚;刘洪冰;王婷;袁雪;罗晓斌;齐晓军;申强宾;顾君;段飞虎 | 申请(专利权)人: | 中国农业科学院农业信息研究所;同方知网数字出版技术股份有限公司;同方知网(北京)技术有限公司 |
主分类号: | G06F16/28 | 分类号: | G06F16/28;G06F40/18;G06N3/00 |
代理公司: | 北京三聚阳光知识产权代理有限公司 11250 | 代理人: | 张琳琳 |
地址: | 100081 北*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 训练 表格 指标 抽取 模型 方法 系统 | ||
1.一种训练表格指标抽取模型的方法,其特征在于,包括如下步骤:
获取人工标引的表格指标,生成一个和表格文件对应的包含所有指标信息的xml文件;
获取训练集的xml文件,选取xml文件中的部分指标转换为机器学习训练所需要的特征向量;
将所述特征向量输入随机森林分类模型,并采用K折交叉验证的算法计算模型的预测准确度;
根据K折交叉验证的准确度来调整随机森林分类模型的超参数,将准确率最高的随机森林分类模型作为表格指标抽取模型。
2.根据权利要求1所述的训练表格指标抽取模型的方法,其特征在于,多个特征向量包括:字体粗度、字体相对大小、字体格式、字体颜色、单元格合并、单元格边框、单位、文字长度、文字密度及单元格相对位置。
3.根据权利要求2所述的训练表格指标抽取模型的方法,其特征在于,将xml文件中的指标转换为机器学习训练所需要的特征向量的步骤,包括:
读取出的xml文件内容,计算出每个表格中每个单元格的多个特征向量,将已标注指标的单元格的类别、时间、地域、单位、数值及表格名称进行分类标记。
4.根据权利要求1所述的训练表格指标抽取模型的方法,其特征在于,所述超参数包括:随机森林分类模型建立的子树的数量及决策树最大深度。
5.一种表格指标抽取的方法,其特征在于,包括:
获取待处理的Excel格式的文件,并将所述Excel文件映射到数据库中;
将所述数据库中的Excel文件数据输入根据权利要求1-4任一所述的训练表格指标抽取模型的方法得到的表格指标抽取模型中,得到Excel文件数据的分类结果,通过行列的匹配将表格的指标的属性计算出来。
6.根据权利要求5所述的表格指标抽取的方法,其特征在于,
将Excel文件数据的分类结果输出得到xml文件;
根据所述xml文件中每个子结点的预测准确度校正分类结果。
7.一种训练表格指标抽取模型的系统,其特征在于,包括:
表格指标标注及xml文件生成模块,用于获取人工标引的表格指标,生成一个和表格文件对应的包含所有指标信息的xml文件;
特征向量获取模块,用于获取训练集的xml文件,将xml文件中的指标转换为机器学习训练所需要的特征向量;
模型准确度预测模块,用于将所述特征向量输入随机森林分类模型,并采用K折交叉验证的算法计算模型的预测准确度;
表格指标抽取模型获取模块,用于根据K折交叉验证的准确度来调整随机森林分类模型的超参数,将准确率最高的随机森林分类模型作为表格指标抽取模型。
8.一种表格指标抽取的系统,其特征在于,包括:
Excel格式的文件获取模块,获取待处理的Excel格式的文件,并将所述Excel文件映射到数据库中;
表格指标获取模块,用于将所述数据库中的Excel文件数据输入根据权利要求1-4任一所述的训练表格指标抽取模型的方法得到的表格指标抽取模型中,得到Excel文件数据的分类结果,通过行列的匹配将表格的指标的属性计算出来。
9.一种计算机设备,其特征在于,包括:至少一个处理器,以及与所述至少一个处理器通信连接的存储器,其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器执行权利要求1-4任一所述的训练表格指标抽取模型的方法,以及权利要求5-6任一所述的表格指标抽取的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使所述计算机执行权利要求1-4任一所述的训练表格指标抽取模型的方法,以及权利要求5-6任一所述的表格指标抽取的方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国农业科学院农业信息研究所;同方知网数字出版技术股份有限公司;同方知网(北京)技术有限公司,未经中国农业科学院农业信息研究所;同方知网数字出版技术股份有限公司;同方知网(北京)技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010062892.3/1.html,转载请声明来源钻瓜专利网。