[发明专利]一种电子表格数据颗粒化及指标标准化处理方法

说明书

本发明公开了一种电子表格数据颗粒化及指标标准化处理方法，包括以下步骤：利用电子表格格式规整器将表格统一为标准表格待处理文档PD；利用区域自动识别器读取待处理文档PD，形成表格矩阵M，并识别指标区域和数值区域；利用指标结构解析器，递归遍历指标区域，识别并提取指标单元存入I库；识别并提取指标分类描述单元存入C库；识别并标引指标单元和指标分类描述单元之间的应用场景存入R库；利用数值项自动提取器，通过遍历数值区域提取数值项，同时将其对应的横纵坐标、指标单元键值、指标分类描述单元键值存入D库。本发明一次性解决了二维电子表格数据的颗粒化、标准化、隐性属性显性化等问题，为进行多源、大规模数据运算提供了基础。

技术领域

本发明属于大数据处理技术领域，特别是一种对电子表格进行颗粒化、标准化、隐性属性显性化的处理方法。

背景技术

在大数据治理过程中，数据的来源是多样化的，表格数据文件是其中一种常见类型。目前，表格数据文件多是二维电子表格，在数据处理时，二维电子表格数据的存储和表达方式通常是将表格的横坐标和纵坐标直接组合之后进行存储与展现，例如，图2展示的二维电子表格，其表达数据348时，通常采用“大型企业数348”进行表示。这种方式主要存在以下缺陷。

1)由于表格数据庞杂、指标不统一，缺少对指标的分类和分级定义，利用现有技术处理的二维表格数据，都以同一类型存储在数据库中，从而导致指标多样化、非标准化；2)现有技术在提取二维电子表格数据的过程中，大多没有直接记录指标单元的层级关系以及应用场景等隐含属性，而是以横坐标、纵坐标直接组合方式存储，这样不但丢失了很多隐含关系，还增加了指标名称的长度、增大了指标的数量，在数据表达时会导致指标不标准、可读性差、无法准确描述指标(数据)之间的层级关系等诸多问题；延续上例，“大型企业数348”仅能供读者看到字面含义，而其隐含的“2016年年鉴(书名)、按企业规模及登记注册类型分规模以上工业企业基本情况(表格名称)”都没有真正的表达出来；3)另外，目前数据的表达和展示大多采用EXCEL表格、PDF、HTML、图片等方式，现有的存储方式由于缺失数据指标层级关系，因此不利于数据的查询、提取、汇总、统计以及大规模运算和精准表达。

发明内容

本发明需要解决的技术问题是提供一种电子表格数据颗粒化及指标标准化处理方法，以解决现有二维电子表格数据无法实现便捷查询和精准表达的问题，通过对指标分类、分级定义和抽取，结合隐性属性显性化以及分类分级存储等技术方法，一次性解决二维电子表格数据的颗粒化、标准化、隐性属性显性化等问题，为进行多源、大规模数据运算提供基础。

为解决上述技术问题，本发明所采取的技术方案如下。

一种电子表格数据颗粒化及指标标准化处理方法，具体包括以下步骤：

S1.加载表格文档，利用电子表格格式规整器，将多种形式的表格统一为标准表格待处理文档PD；

S2.利用区域自动识别器，读取步骤S1形成的待处理文档PD，形成表格矩阵M，并识别指标区域和数值区域；

S3.利用指标结构解析器，递归遍历指标区域，识别并提取指标单元，存入I库；识别并提取指标分类描述单元，存入C库；识别并标引指标单元和指标分类描述单元之间的应用场景，存入R库；

S4.利用数值项自动提取器，通过遍历数值区域，提取数值项，同时依据步骤S2形成的表格矩阵M的横坐标和纵坐标以及步骤S3提取的指标单元和指标分类描述单元，定位并标引该数值项对应的指标单元键值和指标分类描述单元键值，存入D库。

上述一种电子表格数据颗粒化及指标标准化处理方法，在表格文档加载前，将表格中的内容划分为数值项和指标项；其中数值项包含横纵坐标值和数值，指标项根据属性划分为特征类、名词类、分类类以及统计类，统计类又分为指标和指标分类描述。

上述一种电子表格数据颗粒化及指标标准化处理方法，步骤S1中所述电子表格格式规整器将多种形式的表格统一为标准表格待处理文档PD的具体方法为：