[发明专利]训练表格指标抽取模型、表格指标抽取的方法及系统

说明书

本发明公开了一种训练表格指标抽取模型、表格指标抽取的方法及系统，训练表格指标抽取模型的方法包括：获取人工标引的表格指标，生成一个和表格文件对应的包含所有指标信息的xml文件；获取训练集的xml文件，选取部分指标转换为机器学习训练所需要的特征向量；将特征向量输入随机森林分类模型，采用K折交叉验证的算法计算模型的预测准确度；根据K折交叉验证的准确度来调整随机森林分类模型的超参数，将准确率最高的随机森林分类模型作为表格指标抽取模型。本发明提供的方法及系统，不仅发挥了机器学习的长处，不需要专家提前制定规则，而且节省了大部分人力进行重复的流程，获得标准化的表格指标数据。

技术领域

本发明涉及表格信息挖掘领域，具体涉及一种训练表格指标抽取模型、表格指标抽取的方法及系统。

背景技术

随着互联网的普及与发展，网络上共享的表格数据也越来越多，对计算机表格指标的提取也有了更高的要求。面对表格中海量的数据，能够迅速、准确获取其潜在的、重要的指标是当今数据挖掘的重要方向。表格数据具有客观精确、简明扼要、便于归类的优点，表格内的信息和指标能够为很多专业领域提供强大的数据支撑，能够为许多应用技术提供底层的数据支持。因此抽取表格数据中的数据和指标是不可或缺的。

一般地表格数据都是Excel格式。Excel的特点是采用表格方式管理数据，所有的数据、信息都以二维表格形式(工作表)管理，单元格中数据间的相互关系一目了然。从而使数据的处理和管理更直观、更方便、更易于理解。但是由于Excel可以任意的将单元格合并或者把一些边框设置为透明格式，导致在抽取表格指标时，很难按照统一的模版正确的提取出所有的表格指标数据将其标准化，现有技术中主要通过人力进行重复提取工作，效率低，也耗费大量的人力、物力。

发明内容

因此，本发明提供的一种训练表格指标抽取模型、表格指标抽取的方法及系统，克服了现有技术中的提取指标耗费人力、物力的缺陷。

第一方面，本发明实施例提供一种训练表格指标抽取模型的方法，包括如下步骤：获取人工标引的表格指标，生成一个和表格文件对应的包含所有指标信息的xml文件；获取训练集的xml文件，选取xml文件中的部分指标转换为机器学习训练所需要的特征向量；将所述特征向量输入随机森林分类模型，并采用K折交叉验证的算法计算模型的预测准确度；根据K折交叉验证的准确度来调整随机森林分类模型的超参数，将准确率最高的随机森林分类模型作为表格指标抽取模型。

在一实施例中，多个特征向量包括：字体粗度、字体相对大小、字体格式、字体颜色、单元格合并、单元格边框、单位、文字长度、文字密度及单元格相对位置。

在一实施例中，将xml文件中的指标转换为机器学习训练所需要的特征向量的步骤，包括：读取出的xml文件内容，计算出每个表格中每个单元格的多个特征向量，将已标注指标的单元格的类别、时间、地域、单位、数值及表格名称进行分类标记。

在一实施例中，所述超参数包括：随机森林分类模型建立的子树的数量及决策树最大深度。

第二方面，本发明实施例提供一种表格指标抽取的方法，包括：获取待处理的Excel格式的文件，并将所述Excel文件映射到数据库中；将所述数据库中的Excel文件数据输入根据本发明实施例第一方面所述的训练表格指标抽取模型的方法得到的表格指标抽取模型中，得到Excel文件数据的分类结果，通过行列的匹配将表格的指标的属性计算出来。

在一实施例中，将Excel文件数据的分类结果输出得到xml文件；根据所述xml文件中每个子结点的预测准确度校正分类结果。