[发明专利]面向大数据的指标分类方法

权利要求书

1.一种面向大数据的指标分类方法，其特征在于，所述方法基于指标分类系统来实施，所述系统包括：预处理模块、系统定义模块、数据融合模块、模型建立模块、分布式算法引擎；

所述方法包括如下步骤：

步骤1：由所述预处理模块根据业务需求分析，收集相关的信息，包括业务需求方案、技术要求方案、项目管理计划要求；

步骤2：由系统定义模块对业务类别进行分析定义、对数据分析维度进行分析、梳理和划分，对数据分析颗粒进行分析定义、对数据指标类别进行分析定义；

步骤3：由数据融合模块对海量数据进行获取、预处理、转化和写入；

步骤4：由模型建立模块建立指标分类模型；

所述指标分类模型建立包括：设定分类模型设计思想；定义分类模型；确定分类模型设计方式；

步骤5：由分布式算法引擎驱动指标分类模型；

分布式算法引擎由许多不同的算法库和算法调度元数据组成，分布式算法引擎与传统的算法引擎不同，可以根据指标分类模型的设计要求，按照分类模型设计方式的不同，将海量数据进行分类和切割，形成多个不同的算法单元，每个算法单元的调用都依赖于算法调度元数据，通过算法调度元数据的合成，将每个算法单元结果汇集，输出指标的分类结果。

2.如权利要求1所述的面向大数据的指标分类方法，其特征在于，所述步骤2中，对业务类别进行分析定义是：在技术要求文件中技术限定的条件下，根据步骤1中需求分析，对分析的业务领域进行分析。

3.如权利要求1所述的面向大数据的指标分类方法，其特征在于，所述步骤2中，对数据分析维度进行分析、梳理和划分是：维度即分析事物的角度，海量数据的分析维度就是根据步骤1中的需求分析，对海量数据的维度进行分析、梳理和划分。

4.如权利要求1所述的面向大数据的指标分类方法，其特征在于，所述步骤2中，对数据分析颗粒进行分析定义是：数据分析颗粒即数据汇总的程度，数据分析颗粒就是根据步骤1中的需求分析，对海量数据的汇总程度进行分类。

5.如权利要求1所述的面向大数据的指标分类方法，其特征在于，所述步骤2中，对数据指标类别进行分析定义是：数据指标类别即指标服务的群体类别，指标类别就是根据步骤1中的需求分析，对海量数据指标类别根据服务的群体进行分类。

6.如权利要求1所述的面向大数据的指标分类方法，其特征在于，所述步骤3中，数据获取：与各类数据源建立获取接口，包括内部数据获取接口和外部数据获取接口。内部数据获取接口从数据仓库中获取数据，外部数据获取接口从传感器、互联网等获取数据，共同为分布式文件系统输入数据。

7.如权利要求1所述的面向大数据的指标分类方法，其特征在于，所述步骤3中，数据预处理：数据预清洗主要面向外部数据获取接口的的数据，需要通过插值法、回归法、最近邻补插、使用固定值、补插中位数方法对数据进行预处理。

8.如权利要求1所述的面向大数据的指标分类方法，其特征在于，所述步骤3中，数据转化：数据转化包括对从内部、外部数据获取接口的数据的转化处理，保证数据可以按照要求装入分布式文件系统中。

9.如权利要求1所述的面向大数据的指标分类方法，其特征在于，所述步骤3中，数据写入：数据写入部分负责将数据按照物理数据模型定义的数据存储方式写入到分布式文件系统中。

10.如权利要求1所述的面向大数据的指标分类方法，其特征在于，所述步骤4中，包括：

步骤41：设定分类模型设计思想；

分类模型设计思想，通过适当运用计算机的逻辑思维，将业务流程、大数据应用业务工作进行梳理，对数据进行科学分类，使看起来不相关的海量数据产生相互关系；

步骤42：定义分类模型；

分类模型是指根据业务的不同需要，用适当的模型设计方式将获取的海量数据进行分组、分类的过程；

步骤43：确定分类模型设计方式；

分类模型设计方式采用维度法、颗粒度法进行模型设计；维度法即通过对对象分析的角度设计分类的模型；颗粒度发即通过对数据汇总后颗粒度级别的不同设计分类的模型。